Git Stars Git Stars

#data-pipelines Репозитории

Откройте для себя 50 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-pipelines, с общим числом 323,108 звёзд (в среднем 6,462 на проект). Лидером этой темы является twitter/the-algorithm, набравший 73,884 звёзд.

50
Всего репозиториев
323,108
Всего звезд
6,462
Среднее количество звезд на репозиторий

Всего репозиториев: 50

1
twitter/the-algorithm

Исходный код алгоритма рекомендаций X

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 Обновлено 2025-09-08 📅 Создано 2023-03-27
2
pathwaycom/pathway

Python ETL framework для потоковой обработки, анализа в реальном времени, LLM-пайплайнов и RAG.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-11-27
3
apache/airflow

Apache Airflow - Платформа для программного создания, планирования и мониторинга рабочих процессов

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2015-04-13
4
dagster-io/dagster

Платформа оркестрации для разработки, производства и наблюдения за данными активами.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-04-30
5
Unstructured-IO/unstructured

Легко преобразуйте документы в структурированные данные. Unstructured — это ETL-решение с открытым исходным кодом для преобразования сложных документов в чистые, структурированные форматы для языковых моделей. Посетите наш веб-сайт, чтобы узнать больше о нашем продукте Platform корпоративного уровня для рабочих процессов производственного уровня, секционирования, обогащения, фрагментации и встраивания.

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 Обновлено 2026-11-19 📅 Создано 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler — это современная платформа для оркестрации данных. Гибкая для создания высокопроизводительных рабочих процессов с помощью low-code.

apache
⭐ 14,559 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-03-01
7
kedro-org/kedro

Kedro — это набор инструментов для data science, готовой к производству. Он использует лучшие практики инженерии программного обеспечения, чтобы помочь вам создавать конвейеры data engineering и data science, которые воспроизводимы, поддерживаемы и модульны.

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 Обновлено 2026-11-19 📅 Создано 2019-04-18
8
mage-ai/mage-ai

🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] Простая подготовка данных с использованием новейших операторов и конвейеров на основе LLM.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-10-13
10
fluvio-community/fluvio

🦀 Обработка потоков событий для разработчиков, чтобы собирать и преобразовывать данные в движении для питания отзывчивых приложений с интенсивной обработкой данных.

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 Обновлено 2026-11-05 📅 Создано 2019-08-31
11
gayanvoice/top-github-users

Проверьте свой рейтинг на GitHub! Не забудьте поставить ⭐ этому репозиторию.

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 Обновлено 2026-11-21 📅 Создано 2021-06-03
12
StructuredLabs/preswald

Preswald — это упаковщик WASM для интерактивных приложений для работы с данными на основе Python: объединяйте полные сложные рабочие процессы обработки данных, особенно визуализации, в отдельные файлы, полностью запускаемые в браузере, с использованием Pyodide, DuckDB, Pandas и Plotly, Matplotlib и т. д. Создавайте панели мониторинга, отчеты и блокноты, которые работают в автономном режиме, быстро загружаются и предоставляются как документ.

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 Обновлено 2026-06-11 📅 Создано 2024-12-14
13
ucbepic/docetl

Система для агентной обработки данных на базе LLM и ETL

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 Обновлено 2026-11-17 📅 Создано 2024-07-09
14
Netflix/maestro

Maestro: Оркестратор рабочих процессов Netflix

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Обновлено 2026-11-06 📅 Создано 2024-04-17
15
meltano/meltano

Meltano: декларативный движок интеграции данных, ориентированный на код, который воплощает в жизнь ваши самые смелые идеи продуктов на основе данных и машинного обучения. Попрощайтесь с написанием, поддержкой и масштабированием собственных интеграций API.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-06-21
16
elementary-data/elementary

Собственное решение dbt для наблюдения за данными для инженеров по данным и аналитике. Мониторьте ваши конвейеры данных за считанные минуты. Доступно как самостоятельное или облачное решение с премиальными функциями.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Обновлено 2026-11-18 📅 Создано 2021-08-30
17
feldera/feldera

Инкрементальный вычислительный движок Feldera

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-11
18
data-engineering-community/data-engineering-wiki

Лучшее место для изучения инженерии данных. Создано и поддерживается сообществом инженеров данных.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 Обновлено 2026-09-15 📅 Создано 2021-05-04
19
bruin-data/bruin

Создавайте конвейеры данных с помощью SQL и Python, принимайте данные из различных источников, добавляйте проверки качества и создавайте сквозные процессы.

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-08-03
20
yobix-ai/extractous

Быстрое и эффективное извлечение неструктурированных данных. Написано на Rust с привязками для многих языков.

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 Обновлено 2024-12-21 📅 Создано 2024-06-04
21
dashbitco/flow

Вычислительные параллельные потоки поверх GenStage

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 Обновлено 2026-09-25 📅 Создано 2017-01-18
22
combust/mleap

MLeap: Развертывание ML-пайплайнов в продакшен

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 Обновлено 2026-11-09 📅 Создано 2016-08-23
23
pyper-dev/pyper

Параллельный Python — это просто

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Обновлено 2025-02-04 📅 Создано 2024-05-22
24
Netflix/mantis

Платформа, которая позволяет разработчикам легко создавать приложения в реальном времени, экономичные и ориентированные на операции

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 Обновлено 2026-10-28 📅 Создано 2019-06-06
25
opendatadiscovery/odd-platform

Первая платформа с открытым исходным кодом для обнаружения и наблюдаемости данных. Мы облегчаем жизнь специалистам по данным, чтобы вы могли сосредоточиться на своем бизнесе.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Обновлено 2026-10-19 📅 Создано 2021-07-07
27
amphi-ai/amphi-etl

Визуальная подготовка данных, обеспечиваемая Python

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 Обновлено 2026-08-24 📅 Создано 2024-03-20
28
gtoonstra/etl-with-airflow

Лучшие практики ETL с Airflow, с примерами

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Обновлено 2024-09-25 📅 Создано 2016-10-16
29
meta-pytorch/data

Репозиторий PyTorch для загрузки данных и утилит, которые будут использоваться библиотеками домена PyTorch.

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 Обновлено 2026-11-12 📅 Создано 2021-05-12
30
dataform-co/dataform

Dataform — это фреймворк для управления операциями с данными на основе SQL в BigQuery.

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-09-03
31
fal-ai/fal

⚡ Самый быстрый способ развернуть ML-модели с открытым исходным кодом для миллионов пользователей

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-11
32
ocsf/ocsf-schema

Схема OCSF

ocsf
⭐ 917 👤 ocsf Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-04-16
33
mafintosh/pump

соединить потоки в пайп и закрыть все, если один из них закроется

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 Обновлено 2026-02-28 📅 Создано 2013-08-14
35
artie-labs/transfer

Платформа репликации баз данных, использующая перехват изменений данных. Потоковая передача производственных данных из баз данных в ваше хранилище данных (Snowflake, BigQuery, Redshift, Databricks) в режиме реального времени.

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 Обновлено 2026-05-09 📅 Создано 2022-11-06
36
joboccara/pipes

Пайплайны для выразительного кода на коллекциях в C++

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 Обновлено 2024-10-30 📅 Создано 2017-02-19
37
astronomer/airflow-guides

Руководства и документация, чтобы помочь вам начать и запустить Apache Airflow.

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 Обновлено 2025-11-15 📅 Создано 2018-05-17
38
tuplex/tuplex

Tuplex — это фреймворк для параллельной обработки больших данных, который выполняет конвейеры науки о данных, написанные на Python, со скоростью скомпилированного кода. Tuplex имеет API Python, аналогичные API Apache Spark или Dask, но вместо вызова интерпретатора Python Tuplex генерирует оптимизированный LLVM байт-код для заданного конвейера и набора входных данных.

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 Обновлено 2025-08-10 📅 Создано 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

Код для пайплайнов данных с Apache Airflow

BasPH
⭐ 810 Python 👤 BasPH User 🕐 Обновлено 2024-08-15 📅 Создано 2019-06-10
40
turbolytics/sql-flow

DuckDB для потоковых данных

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 Обновлено 2026-11-21 📅 Создано 2023-11-21
41
raystack/optimus

Optimus — это простой в использовании, надежный и высокопроизводительный оркестратор рабочих процессов для преобразования данных, моделирования данных, конвейеров и управления качеством данных.

raystack
⭐ 757 Go 👤 raystack Organization 🕐 Обновлено 2024-06-08 📅 Создано 2021-03-22
42
datalab-to/pdftext

Быстро извлекайте структурированный текст из PDF

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 Обновлено 2026-10-22 📅 Создано 2024-04-24
43
digitalocean/firebolt

Фреймворк Golang для потокового ETL, конвейеров данных наблюдаемости и приложений обработки событий

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 Обновлено 2024-06-14 📅 Создано 2019-10-31
44
noneback/go-taskflow

Чистый Go-фреймворк для параллельного программирования задач общего назначения

noneback
⭐ 642 Go 👤 noneback User 🕐 Обновлено 2026-08-16 📅 Создано 2024-03-06
45
cgrand/xforms

Дополнительные трансдьюсеры и функции редукции для Clojure(script)

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 Обновлено 2024-01-22 📅 Создано 2015-09-03
46
singer-io/singer-python

Записывает формат Singer из Python

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 Обновлено 2026-11-02 📅 Создано 2016-10-28
47
apache/flink-playgrounds

Apache Flink Площадки

apache
⭐ 555 Java 👤 apache Organization 🕐 Обновлено 2026-09-28 📅 Создано 2019-07-12
48
cas-bigdatalab/piflow

πflow — это движок потоков больших данных с поддержкой Spark

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-05-03
49
elementary-data/dbt-data-reliability

Этот пакет dbt захватывает метаданные, артефакты и результаты тестов, чтобы вы могли обнаруживать аномалии, отслеживать качество данных и создавать таблицы метаданных. Он питает Elementary OSS и обеспечивает более широкий слой контекста, используемый полным Data & AI Control Plane от Elementary Cloud.

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 Обновлено 2026-11-18 📅 Создано 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - Программирование на Python в Spark для начинающих

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 Обновлено 2024-07-25 📅 Создано 2020-05-31

Часто задаваемые вопросы

1

Какой репозиторий по теме #data-pipelines наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #data-pipelines на GitHub — twitter/the-algorithm, набравший 73,884 звёзд. Исходный код алгоритма рекомендаций X

2

Какие языки программирования чаще всего используются в репозиториях по теме #data-pipelines?

Среди наиболее высоко оценённых проектов по теме #data-pipelines на GitHub чаще всего используются языки программирования Python, Go, Java, Rust.

3

Как рассчитывается рейтинг репозиториев по теме #data-pipelines?

Мы отслеживаем 50 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-pipelines (500 и более звёзд), с общим числом 323,108 звёзд и в среднем 6,462 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.