Git Stars Git Stars

#data-pipeline Репозитории

Откройте для себя 67 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-pipeline, с общим числом 219,024 звёзд (в среднем 3,269 на проект). Лидером этой темы является xai-org/x-algorithm, набравший 34,361 звёзд.

67
Всего репозиториев
219,024
Всего звезд
3,269
Среднее количество звезд на репозиторий

Всего репозиториев: 67

1
xai-org/x-algorithm

Алгоритм, поддерживающий ленту «For You» на X

xai-org
⭐ 34,361 Rust 👤 xai-org Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-01-19
2
airbytehq/airbyte

Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-07-27
3
apache/shardingsphere

Расширение возможностей интеллекта данных с помощью распределенного SQL для шардинга, масштабируемости и безопасности во всех базах данных.

apache
⭐ 20,832 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-01-18
4
debezium/debezium

Захват измененных данных для различных баз данных. Пожалуйста, сообщайте о проблемах на https://github.com/debezium/dbz/issues.

debezium
⭐ 13,366 Java 👤 debezium Organization 🕐 Обновлено 2026-11-20 📅 Создано 2016-01-22
5
pentaho/pentaho-kettle

Pentaho Data Integration (ETL), также известный как Kettle

pentaho
⭐ 8,419 Java 👤 pentaho Organization 🕐 Обновлено 2026-11-21 📅 Создано 2013-10-08
6
meirwah/awesome-workflow-engines

Куратированный список потрясающих open source движков рабочих процессов

meirwah
⭐ 7,967 👤 meirwah User 🕐 Обновлено 2026-10-11 📅 Создано 2015-05-20
7
datajuicer/data-juicer

Обработка данных для базовых моделей и с их помощью! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-08-01
8
snowplow/snowplow

Лидер в инфраструктуре клиентских данных

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 Обновлено 2026-10-19 📅 Создано 2012-03-01
9
apache/flink-cdc

Flink CDC — это инструмент для интеграции потоковых данных

apache
⭐ 6,495 Java 👤 apache Organization 🕐 Обновлено 2026-11-20 📅 Создано 2020-07-27
10
clidey/whodb

Где доступ к данным встречается с операционной аналитикой

clidey
⭐ 5,065 Go 👤 clidey Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-11
11
togethercomputer/RedPajama-Data

Репозиторий RedPajama-Data содержит код для подготовки больших наборов данных для обучения больших языковых моделей.

togethercomputer
⭐ 4,997 Python 👤 togethercomputer Organization 🕐 Обновлено 2026-06-03 📅 Создано 2023-04-14
12
dagucloud/dagu

Самостоятельно размещаемый оркестратор рабочих процессов для команд, чья основная работа не связана с оркестрацией. Декларативный YAML для ваших скриптов, SSH-команд, контейнеров и т. д.; отделяйте рабочие процессы от бизнес-логики. Один бинарный файл, без базы данных, работает при ограниченных аппаратных ресурсах. Альтернатива Airflow, Cron и планировщикам заданий.

dagucloud
⭐ 4,642 Go 👤 dagucloud Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-04-22
13
rudderlabs/rudder-server

Альтернатива Segment, ориентированная на конфиденциальность и безопасность, на Golang и React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-07-19
14
bruin-data/ingestr

ingestr — это CLI-инструмент для бесшовного копирования данных между любыми базами данных одной командой.

bruin-data
⭐ 4,049 Go 👤 bruin-data Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-02-12
15
adilkhash/Data-Engineering-HowTo

Список полезных ресурсов для изучения Data Engineering с нуля

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 Обновлено 2026-10-30 📅 Создано 2019-03-28
16
superlinked/sie

Сервер логического вывода с открытым исходным кодом и производственный кластер для всех моделей, необходимых вашему агенту.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-11-07
17
superstreamlabs/memphis

Memphis.dev — это высокомасштабируемая и простая платформа для потоковой передачи данных

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 Обновлено 2026-03-02 📅 Создано 2022-02-01
18
whylabs/whylogs

Библиотека с открытым исходным кодом для ведения журналов данных для моделей машинного обучения и конвейеров данных. 📚 Обеспечивает наглядность качества данных и производительности модели с течением времени. 🛡️ Поддерживает сбор данных с сохранением конфиденциальности, обеспечивая безопасность и надежность. 📈

whylabs
⭐ 2,819 Jupyter Notebook 👤 whylabs Organization 🕐 Обновлено 2025-01-10 📅 Создано 2020-08-14
19
unitedstates/congress-legislators

Члены Конгресса Соединенных Штатов, 1789-настоящее время, в формате YAML/JSON/CSV, а также комитеты, президенты и вице-президенты.

unitedstates
⭐ 2,473 Python 👤 unitedstates Organization 🕐 Обновлено 2026-11-15 📅 Создано 2012-09-27
20
elementary-data/elementary

Собственное решение dbt для наблюдения за данными для инженеров по данным и аналитике. Мониторьте ваши конвейеры данных за считанные минуты. Доступно как самостоятельное или облачное решение с премиальными функциями.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Обновлено 2026-11-18 📅 Создано 2021-08-30
21
iliane5/meridian

Meridian преодолевает информационный шум, собирая данные из сотен источников, анализируя истории с помощью ИИ и предоставляя краткие персонализированные ежедневные сводки.

iliane5
⭐ 2,415 TypeScript 👤 iliane5 User 🕐 Обновлено 2025-05-30 📅 Создано 2025-03-06
22
warproxxx/poly_data

Извлекатель данных Polymarket, который загружает, обрабатывает и структурирует данные Polymarket, включая рынки, события ордеров и сделки.

warproxxx
⭐ 2,353 Python 👤 warproxxx User 🕐 Обновлено 2026-09-08 📅 Создано 2025-10-03
23
reugn/go-streams

Легковесная библиотека для обработки потоков данных на Go

reugn
⭐ 2,178 Go 👤 reugn User 🕐 Обновлено 2026-01-14 📅 Создано 2019-04-30
24
datazip-inc/olake-go

OLake Go: система репликации с открытым исходным кодом для передачи данных из баз данных, Kafka и S3 в Apache Iceberg и Parquet. Источники: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Ранее — datazip-inc/olake. Обслуживание таблиц находится в datazip-inc/olake-fusion.

datazip-inc
⭐ 2,166 Go 👤 datazip-inc Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-10-15
25
oficcejo/aiagents-stock

Композитная система анализа команды акций с множественными ИИ-агентами для мониторинга доски, основанная на нескольких ИИ-агентах, симулирует процесс анализа команды аналитиков ценных бумаг, предоставляя всесторонний анализ инвестиций в акции и рекомендации по принятию решений. Новое: анализ отслеживания списка драконов и тигров горячего капитала, анализ предупреждений и ротации секторов, поддержка пакетного многопоточного анализа, мониторинг в реальном времени ключевых уровней, отправка оповещений, зарезервированный интерфейс miniqmt, поддержка количественной торговли, действительно реализует «ИИ торгует акциями за вас», подходит для акций A материкового Китая. Для тестового сайта ниже введите временный ключ deepseek, удалите после теста, чтобы избежать риска утечки. Примечание: Чрезмерный доступ к тестовому облачному сервису может привести к отказу источника данных. Для использования разверните локально.

oficcejo
⭐ 2,101 Python 👤 oficcejo User 🕐 Обновлено 2026-10-10 📅 Создано 2025-10-03
26
pydoit/doit

Инструмент CLI для управления задачами и автоматизации

pydoit
⭐ 2,098 Python 👤 pydoit Organization 🕐 Обновлено 2026-11-21 📅 Создано 2014-02-14
27
Multiwoven/multiwoven

🔥🔥🔥 Open source Reverse ETL - альтернатива hightouch и census.

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 Обновлено 2026-11-18 📅 Создано 2023-10-20
28
bazaarvoice/jolt

Библиотека для преобразования JSON в JSON, написанная на Java.

bazaarvoice
⭐ 1,674 Java 👤 bazaarvoice Organization 🕐 Обновлено 2026-10-28 📅 Создано 2013-02-15
29
tanjiti/sec_profile

Скрапинг secwiki и xuanwu.github.io/sec.today, анализ сайтов с информацией о безопасности, тенденций безопасности, извлечение аккаунтов специалистов по безопасности (twitter, weixin, github и т.д.)

tanjiti
⭐ 1,640 HTML 👤 tanjiti User 🕐 Обновлено 2026-11-21 📅 Создано 2019-02-19
30
slothflowlabs/duckle

ETL/ELT с открытым исходным кодом, который можно развернуть на собственных серверах или в облаке. Построен на DuckDB: визуальные конвейеры без кода или с минимальным кодом либо SQL, 446 компонентов, dbt, CDC, контроль качества данных, обратный ETL, происхождение данных и MCP для ИИ-агентов. Без облака поставщика и без оплаты за каждую строку.

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-05-21
31
xitongsys/parquet-go

Чистая библиотека Golang для чтения/записи файлов Parquet

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 Обновлено 2026-05-08 📅 Создано 2017-09-02
32
GoogleCloudPlatform/data-science-on-gcp

Исходный код, сопровождающий книгу: Наука о данных на платформе Google Cloud, Valliappa Lakshmanan, O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 Обновлено 2026-02-20 📅 Создано 2017-02-10
33
weifuwan/seatunnel-web

Упрощение использования Apache SeaTunnel.

weifuwan
⭐ 1,406 TypeScript 👤 weifuwan User 🕐 Обновлено 2026-07-16 📅 Создано 2026-02-10
34
kkangert/kspider

Kspider — это платформа для веб-сканирования, которая позволяет графически определять рабочие процессы сканирования, что позволяет реализовать рабочий процесс сканирования без кода. Kspider не ограничивается только веб-сканированием, но также может использоваться для автоматизированного тестирования веб-приложений. Больше функций ждут вас для изучения.

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 Обновлено 2024-08-19 📅 Создано 2024-07-07
35
DataWithBaraa/sql-data-warehouse-project

Создайте хранилище данных в SQL Server на основе двух исходных систем — CRM и ERP — с использованием слоёв bronze, silver и gold. Файлы и скрипты полного бесплатного проекта.

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 Обновлено 2026-11-06 📅 Создано 2024-12-30
36
authorjapps/zerocode

zerocode-tdd — это бесплатный автоматизированный фреймворк для тестирования с открытым исходным кодом, разработанный сообществом и ориентированный на результат. Он предназначен для тестирования конвейеров данных, ETL, REST API, Kafka (потоков данных), баз данных и сценариев нагрузки — всё определяется в простом JSON или YAML, без написания кода.

authorjapps
⭐ 1,017 Java 👤 authorjapps User 🕐 Обновлено 2026-11-12 📅 Создано 2016-07-05
37
estuary/flow

🌊 Непрерывно синхронизируйте системы, в которых находятся ваши данные, с системами, в которых вы _хотите_ их видеть, управляя потоками данных с помощью Estuary. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-02-13
38
qiantongtech/qData

qData — это лёгкая полнофункциональная дата-платформа с нативной поддержкой ИИ и открытым исходным кодом. Она охватывает интеграцию, разработку, моделирование и управление данными, а также активы и API-сервисы, поддерживая самостоятельное размещение, гибкое масштабирование и коммерческое использование.

qiantongtech
⭐ 950 Java 👤 qiantongtech Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-05-17
39
apache/seatunnel-web

SeaTunnel — это распределенная высокопроизводительная платформа интеграции данных для синхронизации и преобразования огромных объемов данных (в пакетном режиме и в реальном времени).

apache
⭐ 888 Java 👤 apache Organization 🕐 Обновлено 2026-01-22 📅 Создано 2022-09-26
40
AgnostiqHQ/covalent

Pythonic инструмент для оркестрации рабочих процессов машинного обучения/высокопроизводительных вычислений/квантовых вычислений в гетерогенных вычислительных средах.

AgnostiqHQ
⭐ 869 Python 👤 AgnostiqHQ Organization 🕐 Обновлено 2026-11-16 📅 Создано 2021-11-03
41
spotify/klio

Более интеллектуальные конвейеры данных для аудио.

spotify
⭐ 866 Python 👤 spotify Organization 🕐 Обновлено 2024-01-10 📅 Создано 2020-08-07
42
censusreporter/censusreporter

Census Reporter — это проект, финансируемый Knight News Challenge, чтобы облегчить журналистам написание историй с использованием информации из Бюро переписи населения США.

censusreporter
⭐ 846 HTML 👤 censusreporter Organization 🕐 Обновлено 2026-10-26 📅 Создано 2013-05-20
43
ssp-data/practical-data-engineering

Практическая инженерия данных: практическое руководство по проектам в сфере недвижимости

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 Обновлено 2026-06-25 📅 Создано 2020-11-18
44
justjavac/weibo-trending-hot-search

Список популярных поисковых запросов Weibo записывает популярные поисковые запросы в Weibo, начиная с 24 ноября 2020 года. Данные извлекаются ежечасно и архивируются ежедневно.

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 Обновлено 2026-11-21 📅 Создано 2020-11-24
45
tidymodels/infer

Пакет R для статистического вывода, совместимого с tidyverse

tidymodels
⭐ 796 R 👤 tidymodels Organization 🕐 Обновлено 2026-04-13 📅 Создано 2017-06-05
46
geolonia/japanese-addresses

Открытые данные адресов на уровне населенных пунктов и кварталов по всей стране (277 191 запись)

geolonia
⭐ 774 JavaScript 👤 geolonia Organization 🕐 Обновлено 2026-08-05 📅 Создано 2020-07-12
47
hudl/statsbombpy

Легко транслируйте данные StatsBomb в Python

hudl
⭐ 758 Python 👤 hudl Organization 🕐 Обновлено 2026-10-20 📅 Создано 2020-01-08
48
CZ-NIC/pz

Легко выполняйте повседневные операции CLI через Python вместо обычных программ Bash. 🇺🇦 #supporting

CZ-NIC
⭐ 732 Python 👤 CZ-NIC Organization 🕐 Обновлено 2025-11-24 📅 Создано 2020-11-25
49
karpathy/hn-time-capsule

Ретроспективный анализ обсуждений на Hacker News десятилетней давности с помощью LLM

karpathy
⭐ 693 Python 👤 karpathy User 🕐 Обновлено 2025-12-10 📅 Создано 2025-12-10
50
azmatt/chasing_your_tail

Инструмент для использования беспроводных сигналов, чтобы определить, следуют ли за вами.

azmatt
⭐ 691 Python 👤 azmatt User 🕐 Обновлено 2025-02-18 📅 Создано 2022-01-01

Часто задаваемые вопросы

1

Какой репозиторий по теме #data-pipeline наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #data-pipeline на GitHub — xai-org/x-algorithm, набравший 34,361 звёзд. Алгоритм, поддерживающий ленту «For You» на X

2

Какие языки программирования чаще всего используются в репозиториях по теме #data-pipeline?

Среди наиболее высоко оценённых проектов по теме #data-pipeline на GitHub чаще всего используются языки программирования Python, Java, Go, Rust.

3

Как рассчитывается рейтинг репозиториев по теме #data-pipeline?

Мы отслеживаем 67 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-pipeline (500 и более звёзд), с общим числом 219,024 звёзд и в среднем 3,269 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.