Git Stars Git Stars

#data-processing Репозитории

Откройте для себя 72 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-processing, с общим числом 211,976 звёзд (в среднем 2,944 на проект). Лидером этой темы является pathwaycom/pathway, набравший 61,976 звёзд.

72
Всего репозиториев
211,976
Всего звезд
2,944
Среднее количество звезд на репозиторий
Языки программирования: Python C++ Jupyter Notebook Rust Go C HTML R

Всего репозиториев: 72

1
pathwaycom/pathway

Python ETL framework для потоковой обработки, анализа в реальном времени, LLM-пайплайнов и RAG.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-11-27
2
cocoindex-io/cocoindex

Инкрементальный движок для агентов с долгим горизонтом 🌟 Поставь звезду, если нравится!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-03-03
3
onceupon/Bash-Oneliner

Сборник полезных Bash One-Liners и трюков терминала для обработки данных и обслуживания системы Linux.

onceupon
⭐ 10,805 👤 onceupon User 🕐 Обновлено 2026-09-22 📅 Создано 2016-06-14
4
johnkerl/miller

Miller похож на awk, sed, cut, join и sort для данных с индексацией по именам, таких как CSV, TSV и табличный JSON.

johnkerl
⭐ 10,069 Go 👤 johnkerl User 🕐 Обновлено 2026-11-20 📅 Создано 2015-05-03
5
OpenDCAI/DataFlow

[SIGMOD'27] Простая подготовка данных с использованием новейших операторов и конвейеров на основе LLM.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-10-13
6
TomWright/dasel

Унифицированный запрос, преобразование и модификация JSON, TOML, YAML, XML, INI, HCL, KDL и CSV.

TomWright
⭐ 8,093 Go 👤 TomWright User 🕐 Обновлено 2026-11-02 📅 Создано 2020-09-22
7
datajuicer/data-juicer

Обработка данных для базовых моделей и с их помощью! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-08-01
8
google/snappy

Быстрый компрессор/декомпрессор

google
⭐ 6,633 C++ 👤 google Organization 🕐 Обновлено 2026-10-23 📅 Создано 2014-03-03
9
NVIDIA/DALI

Библиотека с ускорением на GPU, содержащая высокооптимизированные строительные блоки и исполнительный движок для обработки данных, для ускорения приложений обучения и вывода глубокого обучения.

NVIDIA
⭐ 5,797 C++ 👤 NVIDIA Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-06-01
10
deepseek-ai/smallpond

Легковесный фреймворк для обработки данных, построенный на базе DuckDB и 3FS.

deepseek-ai
⭐ 4,960 Python 👤 deepseek-ai Organization 🕐 Обновлено 2025-03-05 📅 Создано 2025-02-24
11
unionai-oss/pandera

Легковесная, гибкая и выразительная библиотека для статистического тестирования данных

unionai-oss
⭐ 4,532 Python 👤 unionai-oss Organization 🕐 Обновлено 2026-11-19 📅 Создано 2018-11-01
12
knownsec/aipyapp

Python с поддержкой ИИ и ИИ с поддержкой Python (Использование Python)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 Обновлено 2026-02-15 📅 Создано 2025-04-06
13
Rdatatable/data.table

Пакет R data.table расширяет data.frame:

Rdatatable
⭐ 3,930 R 👤 Rdatatable Organization 🕐 Обновлено 2026-11-20 📅 Создано 2014-06-07
14
TimelyDataflow/differential-dataflow

Реализация differential dataflow с использованием timely dataflow на Rust.

TimelyDataflow
⭐ 3,040 Rust 👤 TimelyDataflow Organization 🕐 Обновлено 2026-11-21 📅 Создано 2015-05-05
15
numaproj/numaflow

Собственная платформа Kubernetes для запуска массово параллельных задач обработки данных/потоковой передачи

numaproj
⭐ 2,837 Rust 👤 numaproj Organization 🕐 Обновлено 2026-11-19 📅 Создано 2022-05-20
16
datachain-ai/datachain

Контекстный слой для неструктурированных данных: типизированные, версионированные наборы данных поверх S3, GCS, Azure

datachain-ai
⭐ 2,831 Python 👤 datachain-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-25
17
elixir-broadway/broadway

Одновременная и многоэтапная загрузка данных и обработка данных с помощью Elixir

elixir-broadway
⭐ 2,694 Elixir 👤 elixir-broadway Organization 🕐 Обновлено 2026-11-06 📅 Создано 2018-11-05
18
google/googlesql

GoogleSQL (ранее ZetaSQL) - Фреймворк Анализатора для SQL

google
⭐ 2,644 C++ 👤 google Organization 🕐 Обновлено 2026-11-18 📅 Создано 2019-04-16
19
asyml/texar

Инструментарий для машинного обучения, обработки естественного языка и генерации текста на TensorFlow. Является частью проекта CASL: http://casl-project.ai/

asyml
⭐ 2,391 Python 👤 asyml Organization 🕐 Обновлено 2026-07-21 📅 Создано 2017-07-22
20
bytewax/bytewax

Обработка потоков Python

bytewax
⭐ 2,074 Python 👤 bytewax Organization 🕐 Обновлено 2026-11-13 📅 Создано 2022-02-04
21
NVIDIA-NeMo/Curator

Масштабируемый набор инструментов для предварительной обработки и курирования данных для LLM

NVIDIA-NeMo
⭐ 1,866 Python 👤 NVIDIA-NeMo Organization 🕐 Обновлено 2026-11-19 📅 Создано 2024-03-14
22
felt/tippecanoe

Создавайте наборы векторных тайлов из больших коллекций объектов GeoJSON.

felt
⭐ 1,638 C++ 👤 felt Organization 🕐 Обновлено 2026-11-16 📅 Создано 2022-08-15
23
allenai/dolma

Данные и инструменты для генерации и проверки данных предварительного обучения OLMo.

allenai
⭐ 1,564 Python 👤 allenai Organization 🕐 Обновлено 2026-08-24 📅 Создано 2023-06-20
24
pyper-dev/pyper

Параллельный Python — это просто

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Обновлено 2025-02-04 📅 Создано 2024-05-22
25
GoogleCloudPlatform/data-science-on-gcp

Исходный код, сопровождающий книгу: Наука о данных на платформе Google Cloud, Valliappa Lakshmanan, O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 Обновлено 2026-02-20 📅 Создано 2017-02-10
26
zapret-info/z-i

Реестр отфильтрованных в Российской Федерации интернет-адресов

zapret-info
⭐ 1,388 👤 zapret-info User 🕐 Обновлено 2025-10-01 📅 Создано 2012-11-19
27
ncbi/sra-tools

Инструменты SRA

ncbi
⭐ 1,376 C 👤 ncbi Organization 🕐 Обновлено 2026-11-19 📅 Создано 2014-08-21
28
run-house/kubetorch

Распределяйте и запускайте рабочие нагрузки ИИ на Kubernetes «волшебным» образом на Python, подобно PyTorch для инфраструктуры машинного обучения (ML).

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Обновлено 2026-05-29 📅 Создано 2022-05-10
29
RadarCODE/awesome-sar

Кураторский список потрясающего программного обеспечения, библиотек и ресурсов для радиолокации с синтезированной апертурой (SAR).

RadarCODE
⭐ 1,193 👤 RadarCODE Organization 🕐 Обновлено 2025-07-22 📅 Создано 2016-06-03
30
GeospatialPython/pyshp

Эта библиотека читает и записывает ESRI Shapefile на чистом Python.

GeospatialPython
⭐ 1,160 Python 👤 GeospatialPython User 🕐 Обновлено 2026-11-16 📅 Создано 2014-03-04
31
nikic/iter

Примитивы итерации с использованием генераторов

nikic
⭐ 1,145 PHP 👤 nikic User 🕐 Обновлено 2026-09-23 📅 Создано 2013-07-01
32
felixonmars/fcitx5-pinyin-zhwiki

Словарь Fcitx 5 Pinyin с zh.wikipedia.org

felixonmars
⭐ 1,108 Python 👤 felixonmars User 🕐 Обновлено 2026-10-17 📅 Создано 2020-05-23
33
tadija/AEXML

Swift-помощник для простого и легкого разбора XML

tadija
⭐ 1,037 Swift 👤 tadija User 🕐 Обновлено 2026-11-19 📅 Создано 2014-10-16
34
google-deepmind/tree

tree — это библиотека для работы с вложенными структурами данных

google-deepmind
⭐ 1,027 Python 👤 google-deepmind Organization 🕐 Обновлено 2026-11-15 📅 Создано 2019-10-08
35
thepycoach/automation

Автоматизация с помощью Python (Excel, скрипты и т. д.)

thepycoach
⭐ 1,010 Jupyter Notebook 👤 thepycoach User 🕐 Обновлено 2024-05-19 📅 Создано 2021-05-02
36
negokaz/excel-mcp-server

Сервер Model Context Protocol (MCP), который читает и записывает данные MS Excel

negokaz
⭐ 991 Go 👤 negokaz User 🕐 Обновлено 2025-07-19 📅 Создано 2025-02-16
37
fireducks-dev/fireducks

Создать проблему в FireDucks

fireducks-dev
⭐ 929 Jupyter Notebook 👤 fireducks-dev Organization 🕐 Обновлено 2025-05-22 📅 Создано 2023-10-12
38
samtools/bcftools

Это официальный репозиторий разработки для BCFtools. См. инструкции по установке и другую документацию здесь http://samtools.github.io/bcftools/howtos/install.html

samtools
⭐ 905 C 👤 samtools Organization 🕐 Обновлено 2026-11-20 📅 Создано 2013-07-12
39
bastibe/python-soundfile

SoundFile — это аудиобиблиотека на основе libsndfile, CFFI и NumPy

bastibe
⭐ 872 Python 👤 bastibe User 🕐 Обновлено 2026-10-24 📅 Создано 2013-08-27
40
TeamMsgExtractor/msg-extractor

Извлекает электронные письма и вложения, сохраненные в файлах .msg Microsoft Outlook

TeamMsgExtractor
⭐ 858 Python 👤 TeamMsgExtractor Organization 🕐 Обновлено 2026-11-05 📅 Создано 2013-07-24
41
MohElshamy1994/n8n-course-Projetcs

Проекты n8n для моего курса на YouTube.

MohElshamy1994
⭐ 854 👤 MohElshamy1994 User 🕐 Обновлено 2025-10-19 📅 Создано 2025-07-13
42
0xfdf/toraniko

Многофакторная модель риска акций для количественной торговли.

0xfdf
⭐ 853 Python 👤 0xfdf User 🕐 Обновлено 2024-08-16 📅 Создано 2024-07-03
43
benibela/xidel

Инструмент командной строки для загрузки и извлечения данных из страниц HTML/XML или JSON-API с использованием CSS, XPath 3.0, XQuery 3.0, JSONiq или сопоставления шаблонов. Он также может создавать новые или преобразованные документы XML/HTML/JSON.

benibela
⭐ 836 Pascal 👤 benibela User 🕐 Обновлено 2025-02-22 📅 Создано 2015-06-11
44
bugen/pypipe

Инструмент командной строки Python Pipe

bugen
⭐ 802 Python 👤 bugen User 🕐 Обновлено 2024-01-04 📅 Создано 2023-09-20
45
influxdata/flux

Flux — это легкий язык сценариев для запросов к базам данных (например, InfluxDB) и работы с данными. Он является частью InfluxDB 1.7 и 2.0, но может запускаться независимо от них.

influxdata
⭐ 794 FLUX 👤 influxdata Organization 🕐 Обновлено 2026-11-17 📅 Создано 2018-06-14
46
PreSenseRadar/OpenRadar

Открытая библиотека для взаимодействия и обработки данных радара, специализированная для MIMO mmWave радаров

PreSenseRadar
⭐ 776 Jupyter Notebook 👤 PreSenseRadar User 🕐 Обновлено 2024-04-30 📅 Создано 2019-09-20
47
ChenghaoMou/text-dedup

Комплексное удаление дубликатов текста

ChenghaoMou
⭐ 765 Python 👤 ChenghaoMou User 🕐 Обновлено 2026-03-09 📅 Создано 2021-03-13
48
JuliaParallel/Dagger.jl

Фреймворк для выполнения вне ядра и параллельного выполнения

JuliaParallel
⭐ 734 Julia 👤 JuliaParallel Organization 🕐 Обновлено 2026-11-02 📅 Создано 2015-12-03
49
hstreamdb/hstream

HStreamDB — это облачная потоковая база данных с открытым исходным кодом для Интернета вещей и не только. Модернизируйте свой стек данных для приложений реального времени.

hstreamdb
⭐ 728 Haskell 👤 hstreamdb Organization 🕐 Обновлено 2024-12-26 📅 Создано 2020-08-31
50
omarabid/rust-companies

Список компаний, использующих Rust в продакшене.

omarabid
⭐ 721 👤 omarabid User 🕐 Обновлено 2026-09-11 📅 Создано 2020-02-05

Часто задаваемые вопросы

1

Какой репозиторий по теме #data-processing наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #data-processing на GitHub — pathwaycom/pathway, набравший 61,976 звёзд. Python ETL framework для потоковой обработки, анализа в реальном времени, LLM-пайплайнов и RAG.

2

Какие языки программирования чаще всего используются в репозиториях по теме #data-processing?

Среди наиболее высоко оценённых проектов по теме #data-processing на GitHub чаще всего используются языки программирования Python, C++, Jupyter Notebook, Rust.

3

Как рассчитывается рейтинг репозиториев по теме #data-processing?

Мы отслеживаем 72 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-processing (500 и более звёзд), с общим числом 211,976 звёзд и в среднем 2,944 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.