Git Stars Git Stars

#data-engineering Репозитории

Откройте для себя 152 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-engineering, с общим числом 727,632 звёзд (в среднем 4,787 на проект). Лидером этой темы является apache/superset, набравший 75,603 звёзд.

152
Всего репозиториев
727,632
Всего звезд
4,787
Среднее количество звезд на репозиторий

Всего репозиториев: 152

1
apache/superset

Apache Superset — это платформа для визуализации данных и исследования данных

apache
⭐ 75,603 Python 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2015-07-21
2
GokuMohandas/Made-With-ML

Узнайте, как разрабатывать, развертывать и итерировать производственные приложения ML.

GokuMohandas
⭐ 50,112 Jupyter Notebook 👤 GokuMohandas User 🕐 Обновлено 2026-03-04 📅 Создано 2018-11-05
3
apache/airflow

Apache Airflow - Платформа для программного создания, планирования и мониторинга рабочих процессов

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2015-04-13
4
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp — это бесплатный 9-недельный курс по созданию готовых к продакшену пайплайнов данных. Присоединяйтесь к курсу здесь 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 Обновлено 2026-11-16 📅 Создано 2021-10-21
5
kestra-io/kestra

Оркестрируйте всё и повсюду. Открытая управляющая платформа для рабочих процессов с данными, инфраструктурой, бизнес-процессами и ИИ-агентами. Декларативный YAML, событийная архитектура, поддержка любых языков, контроль версий в Git и масштабирование до миллионов запусков.

kestra-io
⭐ 30,303 Java 👤 kestra-io Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-08-24
6
eugeneyan/applied-ml

📚 Статьи и технические блоги от компаний, делящихся своей работой по науке о данных и машинному обучению в производстве.

eugeneyan
⭐ 28,577 👤 eugeneyan User 🕐 Обновлено 2024-07-18 📅 Создано 2020-07-04
7
PrefectHQ/prefect

Prefect — это фреймворк для оркестрации рабочих процессов, предназначенный для создания устойчивых конвейеров данных на Python.

PrefectHQ
⭐ 24,203 Python 👤 PrefectHQ Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-06-29
8
airbytehq/airbyte

Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-07-27
9
Avaiga/taipy

Превратите данные и алгоритмы ИИ в готовые к производству веб-приложения в кратчайшие сроки.

Avaiga
⭐ 19,458 Python 👤 Avaiga Organization 🕐 Обновлено 2026-08-10 📅 Создано 2022-02-18
10
argoproj/argo-workflows

Движок рабочих процессов для Kubernetes

argoproj
⭐ 17,108 Go 👤 argoproj Organization 🕐 Обновлено 2026-11-21 📅 Создано 2017-08-21
11
dagster-io/dagster

Платформа оркестрации для разработки, производства и наблюдения за данными активами.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-04-30
12
andkret/Cookbook

Книга рецептов по инженерии данных

andkret
⭐ 15,594 Python 👤 andkret User 🕐 Обновлено 2026-10-16 📅 Создано 2019-03-10
13
semantica-agi/semantica

Семантический слой на основе графов для надежного корпоративного ИИ

semantica-agi
⭐ 14,701 Python 👤 semantica-agi Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-06-25
14
fivetran/great_expectations

Всегда знайте, чего ожидать от ваших данных.

fivetran
⭐ 11,941 Python 👤 fivetran Organization 🕐 Обновлено 2026-11-17 📅 Создано 2017-09-11
15
cocoindex-io/cocoindex

Инкрементальный движок для агентов с долгим горизонтом 🌟 Поставь звезду, если нравится!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-03-03
16
xonsh/xonsh

🐚 Shell, работающий на Python. Полнофункциональный, кросс-платформенный и дружелюбный к ИИ.

xonsh
⭐ 9,704 Python 👤 xonsh Organization 🕐 Обновлено 2026-11-16 📅 Создано 2015-01-21
17
risingwavelabs/risingwave

Платформа потоковой передачи событий для агентского ИИ. Непрерывно поглощайте, трансформируйте и предоставляйте потоки событий в реальном времени, в масштабе.

risingwavelabs
⭐ 9,425 Rust 👤 risingwavelabs Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-01-28
18
mage-ai/mage-ai

🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-05-16
19
redpanda-data/connect

Вычурная обработка потоков, сделанная операционно банальной

redpanda-data
⭐ 8,804 Go 👤 redpanda-data Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-03-22
20
growthbook/growthbook

Флаги функций с открытым исходным кодом, эксперименты и аналитика продукта

growthbook
⭐ 8,639 TypeScript 👤 growthbook Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-05-07
21
Zipstack/unstract

Извлечение неструктурированных данных на базе LLM — Разработано для развертываний API и рабочих процессов ETL-пайплайнов

Zipstack
⭐ 7,462 Python 👤 Zipstack Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-02-21
22
feast-dev/feast

Открытый исходный код хранилища признаков для ИИ/МО

feast-dev
⭐ 7,362 Python 👤 feast-dev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-12-10
23
evidence-dev/evidence

Бизнес-аналитика как код: создавайте быстрые, интерактивные визуализации данных в SQL и markdown

evidence-dev
⭐ 7,140 TypeScript 👤 evidence-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2021-05-27
24
cloudquery/cloudquery

Конвейеры данных для данных конфигурации и безопасности облака. Создание решений для инвентаризации облачных активов, CSPM, FinOps и управления уязвимостями. Извлечение данных из AWS, Azure, GCP и более чем 70 облачных и SaaS-источников.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-11-18
25
dlt-hub/dlt

Data Load Tool (dlt) — это библиотека Python с открытым исходным кодом, которая упрощает загрузку данных 🛠️

dlt-hub
⭐ 6,115 Python 👤 dlt-hub Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-01-26
26
WeiYe-Jing/datax-web

Страница визуализации интеграции DataX: выберите источник данных, чтобы с одного клика сгенерировать задачу синхронизации данных. Поддерживает источники данных, такие как RDBMS, Hive, HBase, ClickHouse, MongoDB и т.д. Пакетное создание задач синхронизации данных RDBMS, интеграция с открытой системой планирования, поддержка распределенной обработки, инкрементальной синхронизации данных, просмотра логов выполнения в реальном времени, мониторинга ресурсов исполнителя, KILL выполняющихся процессов, шифрования информации источников данных и т.д.

WeiYe-Jing
⭐ 5,958 Java 👤 WeiYe-Jing User 🕐 Обновлено 2024-06-02 📅 Создано 2019-11-19
27
Eventual-Inc/Daft

Высокопроизводительный движок данных для рабочих нагрузок ИИ и мультимодальных систем. Обрабатывайте изображения, аудио, видео и структурированные данные в любом масштабе.

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 Обновлено 2026-11-09 📅 Создано 2022-04-25
28
treeverse/lakeFS

lakeFS - Контроль версий данных для вашего озера данных | Git для данных

treeverse
⭐ 5,590 Go 👤 treeverse Organization 🕐 Обновлено 2026-11-19 📅 Создано 2019-09-12
29
chiphuyen/dmls-book

Краткие содержания и ресурсы для книги "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)

chiphuyen
⭐ 5,481 👤 chiphuyen User 🕐 Обновлено 2026-06-09 📅 Создано 2022-05-27
30
ruc-datalab/DeepAnalyze

DeepAnalyze — это первый агентный LLM для автономного анализа данных. 🎈 Ваш ИИ-аналитик данных, который автоматически анализирует огромные массивы данных и генерирует профессиональные отчеты всего одним кликом!

ruc-datalab
⭐ 4,833 Python 👤 ruc-datalab Organization 🕐 Обновлено 2026-11-02 📅 Создано 2025-10-11
31
rudderlabs/rudder-server

Альтернатива Segment, ориентированная на конфиденциальность и безопасность, на Golang и React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-07-19
32
Moataz-Elmesmary/Data-Science-Roadmap

Дорожная карта по науке о данных от А до Я

Moataz-Elmesmary
⭐ 4,429 👤 Moataz-Elmesmary User 🕐 Обновлено 2025-12-06 📅 Создано 2022-04-17
33
whoiskatrin/sql-translator

SQL Translator - это инструмент для преобразования запросов на естественном языке в SQL-код с использованием искусственного интеллекта. Этот проект на 100% бесплатен и имеет открытый исходный код.

whoiskatrin
⭐ 4,315 TypeScript 👤 whoiskatrin User 🕐 Обновлено 2025-07-06 📅 Создано 2023-03-11
34
aws/aws-sdk-pandas

pandas на AWS - Легкая интеграция с Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer и S3 (Parquet, CSV, JSON и EXCEL).

aws
⭐ 4,124 Python 👤 aws Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-02-26
35
adilkhash/Data-Engineering-HowTo

Список полезных ресурсов для изучения Data Engineering с нуля

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 Обновлено 2026-10-30 📅 Создано 2019-03-28
36
knownsec/aipyapp

Python с поддержкой ИИ и ИИ с поддержкой Python (Использование Python)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 Обновлено 2026-02-15 📅 Создано 2025-04-06
37
quadratichq/quadratic

Электронная таблица с ИИ, кодом, подключениями

quadratichq
⭐ 3,958 Rust 👤 quadratichq Organization 🕐 Обновлено 2026-03-07 📅 Создано 2021-11-11
38
camelot-dev/camelot

Библиотека Python для извлечения табличных данных из PDF

camelot-dev
⭐ 3,858 Python 👤 camelot-dev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-07-01
39
Netflix/maestro

Maestro: Оркестратор рабочих процессов Netflix

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Обновлено 2026-11-06 📅 Создано 2024-04-17
40
dathere/qsv

Сверхбыстрый нейросимвольный инструментарий для обработки данных

dathere
⭐ 3,836 Rust 👤 dathere Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-12-11
41
moabukar/tech-vault

Список множества вопросов для собеседований и реальных задач в сфере технологий! (https://tech-vault-web.vercel.app/)

moabukar
⭐ 3,599 HCL 👤 moabukar User 🕐 Обновлено 2026-03-01 📅 Создано 2023-03-27
42
lakehq/sail

Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-21
43
superstreamlabs/memphis

Memphis.dev — это высокомасштабируемая и простая платформа для потоковой передачи данных

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 Обновлено 2026-03-02 📅 Создано 2022-02-01
44
GokuMohandas/mlops-course

Узнайте, как проектировать, разрабатывать, развертывать и итерировать производственные ML-приложения.

GokuMohandas
⭐ 3,272 Jupyter Notebook 👤 GokuMohandas User 🕐 Обновлено 2024-08-16 📅 Создано 2020-11-12
45
apache/devlake

Apache DevLake — это платформа для анализа данных разработки с открытым исходным кодом, предназначенная для сбора, анализа и визуализации разрозненных данных из инструментов DevOps, извлекая ценную информацию для инженерного совершенства, опыта разработчиков и роста сообщества.

apache
⭐ 3,204 Go 👤 apache Organization 🕐 Обновлено 2026-11-19 📅 Создано 2021-07-08
46
itsdecodingai/second-brain-ai-assistant-course

Научитесь создавать своего ИИ-ассистента «Второй мозг» с помощью LLM, агентов, RAG, дообучения, LLMOps и методов ИИ-систем.

itsdecodingai
⭐ 3,138 Jupyter Notebook 👤 itsdecodingai Organization 🕐 Обновлено 2026-04-06 📅 Создано 2024-12-30
47
Zleap-AI/SAG

Новый SOTA для RAG — оригинальная архитектура поиска и база знаний с открытым исходным кодом для людей и агентов.

Zleap-AI
⭐ 3,004 Python 👤 Zleap-AI Organization 🕐 Обновлено 2026-11-13 📅 Создано 2025-11-07
48
gunnarmorling/awesome-opensource-data-engineering

Потрясающий список проектов по разработке данных с открытым исходным кодом

gunnarmorling
⭐ 2,946 👤 gunnarmorling User 🕐 Обновлено 2024-10-04 📅 Создано 2020-02-11
49
danielbeach/data-engineering-practice

Практические задачи по инженерии данных

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 Обновлено 2025-01-08 📅 Создано 2022-02-17
50
meltano/meltano

Meltano: декларативный движок интеграции данных, ориентированный на код, который воплощает в жизнь ваши самые смелые идеи продуктов на основе данных и машинного обучения. Попрощайтесь с написанием, поддержкой и масштабированием собственных интеграций API.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-06-21

Часто задаваемые вопросы

1

Какой репозиторий по теме #data-engineering наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #data-engineering на GitHub — apache/superset, набравший 75,603 звёзд. Apache Superset — это платформа для визуализации данных и исследования данных

2

Какие языки программирования чаще всего используются в репозиториях по теме #data-engineering?

Среди наиболее высоко оценённых проектов по теме #data-engineering на GitHub чаще всего используются языки программирования Python, Go, Rust, Jupyter Notebook.

3

Как рассчитывается рейтинг репозиториев по теме #data-engineering?

Мы отслеживаем 152 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-engineering (500 и более звёзд), с общим числом 727,632 звёзд и в среднем 4,787 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.