Git Stars Git Stars

#data-processing 仓库

探索 72 个标记为 #data-processing 的活跃开源 GitHub 仓库,它们累计获得 211,976 个 Star(平均每个项目 2,944 个)。该主题的领先项目是 pathwaycom/pathway,拥有 61,976 个 Star。

72
仓库总数
211,976
总星标数
2,944
平均每个仓库星标数
1
pathwaycom/pathway

用于流处理、实时分析、LLM管道和RAG的Python ETL框架。

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-11-27
2
cocoindex-io/cocoindex

长时域代理的增量引擎 🌟 如果喜欢,请点星!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-03
3
onceupon/Bash-Oneliner

一组实用的 Bash One-Liners 和终端技巧,用于数据处理和 Linux 系统维护。

onceupon
⭐ 10,805 👤 onceupon User 🕐 已更新 2026-09-22 📅 创建时间 2016-06-14
4
johnkerl/miller

Miller 类似于 awk、sed、cut、join 和 sort,用于处理如 CSV、TSV 和表格 JSON 等基于名称索引的数据。

johnkerl
⭐ 10,069 Go 👤 johnkerl User 🕐 已更新 2026-11-20 📅 创建时间 2015-05-03
5
OpenDCAI/DataFlow

[SIGMOD'27] 使用最新的基于大语言模型的算子和流水线轻松进行数据准备。

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-10-13
6
TomWright/dasel

对 JSON、TOML、YAML、XML、INI、HCL、KDL 和 CSV 进行统一的查询、转换和修改。

TomWright
⭐ 8,093 Go 👤 TomWright User 🕐 已更新 2026-11-02 📅 创建时间 2020-09-22
7
datajuicer/data-juicer

为基础模型处理数据,以及使用基础模型处理数据! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-08-01
8
google/snappy

一个快速的压缩/解压缩器

google
⭐ 6,633 C++ 👤 google Organization 🕐 已更新 2026-10-23 📅 创建时间 2014-03-03
9
NVIDIA/DALI

一个GPU加速库,包含高度优化的构建模块和数据处理执行引擎,用于加速深度学习训练和推理应用。

NVIDIA
⭐ 5,797 C++ 👤 NVIDIA Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-06-01
10
deepseek-ai/smallpond

一个基于DuckDB和3FS的轻量级数据处理框架。

deepseek-ai
⭐ 4,960 Python 👤 deepseek-ai Organization 🕐 已更新 2025-03-05 📅 创建时间 2025-02-24
11
unionai-oss/pandera

一个轻量级、灵活且富有表现力的统计数据测试库

unionai-oss
⭐ 4,532 Python 👤 unionai-oss Organization 🕐 已更新 2026-11-19 📅 创建时间 2018-11-01
12
knownsec/aipyapp

AI驱动的Python & Python驱动的AI (Python-使用)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 已更新 2026-02-15 📅 创建时间 2025-04-06
13
Rdatatable/data.table

R 的 data.table 包扩展了 data.frame 结构:

Rdatatable
⭐ 3,930 R 👤 Rdatatable Organization 🕐 已更新 2026-11-20 📅 创建时间 2014-06-07
14
TimelyDataflow/differential-dataflow

使用 Rust 上的 timely dataflow 实现的 differential dataflow。

TimelyDataflow
⭐ 3,040 Rust 👤 TimelyDataflow Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-05-05
15
numaproj/numaflow

运行大规模并行数据/流作业的 Kubernetes 原生平台

numaproj
⭐ 2,837 Rust 👤 numaproj Organization 🕐 已更新 2026-11-19 📅 创建时间 2022-05-20
16
datachain-ai/datachain

非结构化数据的上下文层:基于 S3、GCS、Azure 的类型化、版本化数据集

datachain-ai
⭐ 2,831 Python 👤 datachain-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-06-25
17
elixir-broadway/broadway

使用 Elixir 进行并发和多阶段数据摄取和数据处理

elixir-broadway
⭐ 2,694 Elixir 👤 elixir-broadway Organization 🕐 已更新 2026-11-06 📅 创建时间 2018-11-05
18
google/googlesql

GoogleSQL(前身为 ZetaSQL)- SQL 分析器框架

google
⭐ 2,644 C++ 👤 google Organization 🕐 已更新 2026-11-18 📅 创建时间 2019-04-16
19
asyml/texar

用于机器学习、自然语言处理和文本生成的 TensorFlow 工具包。这是 CASL 项目的一部分:http://casl-project.ai/

asyml
⭐ 2,391 Python 👤 asyml Organization 🕐 已更新 2026-07-21 📅 创建时间 2017-07-22
20
bytewax/bytewax

Python 流处理

bytewax
⭐ 2,074 Python 👤 bytewax Organization 🕐 已更新 2026-11-13 📅 创建时间 2022-02-04
21
NVIDIA-NeMo/Curator

LLM 的可扩展数据预处理和整理工具包

NVIDIA-NeMo
⭐ 1,866 Python 👤 NVIDIA-NeMo Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-03-14
22
felt/tippecanoe

从大型 GeoJSON 要素集合构建矢量瓦片集。

felt
⭐ 1,638 C++ 👤 felt Organization 🕐 已更新 2026-11-16 📅 创建时间 2022-08-15
23
allenai/dolma

用于生成和检查 OLMo 预训练数据的工具。

allenai
⭐ 1,564 Python 👤 allenai Organization 🕐 已更新 2026-08-24 📅 创建时间 2023-06-20
24
pyper-dev/pyper

并发 Python 简化

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 已更新 2025-02-04 📅 创建时间 2024-05-22
25
GoogleCloudPlatform/data-science-on-gcp

随附书籍的源代码:Google Cloud Platform 上的数据科学,Valliappa Lakshmanan,O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 已更新 2026-02-20 📅 创建时间 2017-02-10
26
zapret-info/z-i

俄罗斯联邦过滤的互联网地址注册表

zapret-info
⭐ 1,388 👤 zapret-info User 🕐 已更新 2025-10-01 📅 创建时间 2012-11-19
27
ncbi/sra-tools

SRA 工具

ncbi
⭐ 1,376 C 👤 ncbi Organization 🕐 已更新 2026-11-19 📅 创建时间 2014-08-21
28
run-house/kubetorch

在 Kubernetes 上以 Python 的方式神奇地分发和运行 AI 工作负载,就像用于 ML 基础设施的 PyTorch 一样。

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 已更新 2026-05-29 📅 创建时间 2022-05-10
29
RadarCODE/awesome-sar

精选的精彩合成孔径雷达(SAR)软件、库和资源列表。

RadarCODE
⭐ 1,193 👤 RadarCODE Organization 🕐 已更新 2025-07-22 📅 创建时间 2016-06-03
30
GeospatialPython/pyshp

这个库用纯Python读写ESRI Shapefiles。

GeospatialPython
⭐ 1,160 Python 👤 GeospatialPython User 🕐 已更新 2026-11-16 📅 创建时间 2014-03-04
31
nikic/iter

使用生成器的迭代原语

nikic
⭐ 1,145 PHP 👤 nikic User 🕐 已更新 2026-09-23 📅 创建时间 2013-07-01
32
felixonmars/fcitx5-pinyin-zhwiki

Fcitx 5 拼音词典 来自 zh.wikipedia.org

felixonmars
⭐ 1,108 Python 👤 felixonmars User 🕐 已更新 2026-10-17 📅 创建时间 2020-05-23
33
tadija/AEXML

用于简单轻量级 XML 解析的 Swift Minion

tadija
⭐ 1,037 Swift 👤 tadija User 🕐 已更新 2026-11-19 📅 创建时间 2014-10-16
34
google-deepmind/tree

tree 是一个用于处理嵌套数据结构的库

google-deepmind
⭐ 1,027 Python 👤 google-deepmind Organization 🕐 已更新 2026-11-15 📅 创建时间 2019-10-08
35
thepycoach/automation

使用Python进行自动化 (Excel, 脚本等)

thepycoach
⭐ 1,010 Jupyter Notebook 👤 thepycoach User 🕐 已更新 2024-05-19 📅 创建时间 2021-05-02
36
negokaz/excel-mcp-server

一个读取和写入 MS Excel 数据的模型上下文协议 (MCP) 服务器

negokaz
⭐ 991 Go 👤 negokaz User 🕐 已更新 2025-07-19 📅 创建时间 2025-02-16
37
fireducks-dev/fireducks

在 FireDucks 上创建 issue

fireducks-dev
⭐ 929 Jupyter Notebook 👤 fireducks-dev Organization 🕐 已更新 2025-05-22 📅 创建时间 2023-10-12
38
samtools/bcftools

这是 BCFtools 的官方开发仓库。请参阅安装说明和其他文档 http://samtools.github.io/bcftools/howtos/install.html

samtools
⭐ 905 C 👤 samtools Organization 🕐 已更新 2026-11-20 📅 创建时间 2013-07-12
39
bastibe/python-soundfile

SoundFile 是一个基于 libsndfile、CFFI 和 NumPy 的音频库

bastibe
⭐ 872 Python 👤 bastibe User 🕐 已更新 2026-10-24 📅 创建时间 2013-08-27
40
TeamMsgExtractor/msg-extractor

提取Microsoft Outlook .msg文件中保存的电子邮件和附件

TeamMsgExtractor
⭐ 858 Python 👤 TeamMsgExtractor Organization 🕐 已更新 2026-11-05 📅 创建时间 2013-07-24
41
MohElshamy1994/n8n-course-Projetcs

n8n 项目用于我的 YouTube 课程。

MohElshamy1994
⭐ 854 👤 MohElshamy1994 User 🕐 已更新 2025-10-19 📅 创建时间 2025-07-13
42
0xfdf/toraniko

面向量化交易的多因素股权风险模型。

0xfdf
⭐ 853 Python 👤 0xfdf User 🕐 已更新 2024-08-16 📅 创建时间 2024-07-03
43
benibela/xidel

命令行工具,用于从 HTML/XML 页面或 JSON-API 下载并提取数据,使用 CSS、XPath 3.0、XQuery 3.0、JSONiq 或模式匹配。它还可以创建新的或转换后的 XML/HTML/JSON 文档。

benibela
⭐ 836 Pascal 👤 benibela User 🕐 已更新 2025-02-22 📅 创建时间 2015-06-11
44
bugen/pypipe

Python 管道命令行工具

bugen
⭐ 802 Python 👤 bugen User 🕐 已更新 2024-01-04 📅 创建时间 2023-09-20
45
influxdata/flux

Flux 是一种轻量级脚本语言,用于查询数据库(如 InfluxDB)和处理数据。它是 InfluxDB 1.7 和 2.0 的一部分,但可以独立运行。

influxdata
⭐ 794 FLUX 👤 influxdata Organization 🕐 已更新 2026-11-17 📅 创建时间 2018-06-14
46
PreSenseRadar/OpenRadar

一个用于与雷达数据交互和处理的开源库,专用于MIMO mmWave雷达

PreSenseRadar
⭐ 776 Jupyter Notebook 👤 PreSenseRadar User 🕐 已更新 2024-04-30 📅 创建时间 2019-09-20
47
ChenghaoMou/text-dedup

一体化文本去重

ChenghaoMou
⭐ 765 Python 👤 ChenghaoMou User 🕐 已更新 2026-03-09 📅 创建时间 2021-03-13
48
JuliaParallel/Dagger.jl

用于内存外和并行执行的框架

JuliaParallel
⭐ 734 Julia 👤 JuliaParallel Organization 🕐 已更新 2026-11-02 📅 创建时间 2015-12-03
49
hstreamdb/hstream

HStreamDB 是一个面向物联网及更广泛应用的开源、云原生流式数据库。为您的数据栈实现现代化,以支持实时应用。

hstreamdb
⭐ 728 Haskell 👤 hstreamdb Organization 🕐 已更新 2024-12-26 📅 创建时间 2020-08-31
50
omarabid/rust-companies

使用 Rust 在生产环境中运行的公司列表。

omarabid
⭐ 721 👤 omarabid User 🕐 已更新 2026-09-11 📅 创建时间 2020-02-05

常见问题解答

1

GitHub 上最受欢迎的 #data-processing 仓库是什么?

GitHub 上排名第一的开源 #data-processing 项目是 pathwaycom/pathway,拥有 61,976 个 Star。用于流处理、实时分析、LLM管道和RAG的Python ETL框架。

2

#data-processing 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #data-processing 项目中,最常见的编程语言是 Python, C++, Jupyter Notebook, Rust。

3

#data-processing 仓库的排名是如何计算的?

我们跟踪了 72 个标记为 #data-processing 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 211,976 个 Star,平均每个仓库拥有 2,944 个 Star。排名每日根据 GitHub API 更新。