#data-pipelines Репозитории
Откройте для себя 50 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-pipelines, с общим числом 323,108 звёзд (в среднем 6,462 на проект). Лидером этой темы является twitter/the-algorithm, набравший 73,884 звёзд.
Всего репозиториев: 50
Python ETL framework для потоковой обработки, анализа в реальном времени, LLM-пайплайнов и RAG.
Apache Airflow - Платформа для программного создания, планирования и мониторинга рабочих процессов
Платформа оркестрации для разработки, производства и наблюдения за данными активами.
Легко преобразуйте документы в структурированные данные. Unstructured — это ETL-решение с открытым исходным кодом для преобразования сложных документов в чистые, структурированные форматы для языковых моделей. Посетите наш веб-сайт, чтобы узнать больше о нашем продукте Platform корпоративного уровня для рабочих процессов производственного уровня, секционирования, обогащения, фрагментации и встраивания.
Apache DolphinScheduler — это современная платформа для оркестрации данных. Гибкая для создания высокопроизводительных рабочих процессов с помощью low-code.
Kedro — это набор инструментов для data science, готовой к производству. Он использует лучшие практики инженерии программного обеспечения, чтобы помочь вам создавать конвейеры data engineering и data science, которые воспроизводимы, поддерживаемы и модульны.
🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.
[SIGMOD'27] Простая подготовка данных с использованием новейших операторов и конвейеров на основе LLM.
🦀 Обработка потоков событий для разработчиков, чтобы собирать и преобразовывать данные в движении для питания отзывчивых приложений с интенсивной обработкой данных.
Проверьте свой рейтинг на GitHub! Не забудьте поставить ⭐ этому репозиторию.
Preswald — это упаковщик WASM для интерактивных приложений для работы с данными на основе Python: объединяйте полные сложные рабочие процессы обработки данных, особенно визуализации, в отдельные файлы, полностью запускаемые в браузере, с использованием Pyodide, DuckDB, Pandas и Plotly, Matplotlib и т. д. Создавайте панели мониторинга, отчеты и блокноты, которые работают в автономном режиме, быстро загружаются и предоставляются как документ.
Meltano: декларативный движок интеграции данных, ориентированный на код, который воплощает в жизнь ваши самые смелые идеи продуктов на основе данных и машинного обучения. Попрощайтесь с написанием, поддержкой и масштабированием собственных интеграций API.
Собственное решение dbt для наблюдения за данными для инженеров по данным и аналитике. Мониторьте ваши конвейеры данных за считанные минуты. Доступно как самостоятельное или облачное решение с премиальными функциями.
Лучшее место для изучения инженерии данных. Создано и поддерживается сообществом инженеров данных.
Создавайте конвейеры данных с помощью SQL и Python, принимайте данные из различных источников, добавляйте проверки качества и создавайте сквозные процессы.
Быстрое и эффективное извлечение неструктурированных данных. Написано на Rust с привязками для многих языков.
Платформа, которая позволяет разработчикам легко создавать приложения в реальном времени, экономичные и ориентированные на операции
Первая платформа с открытым исходным кодом для обнаружения и наблюдаемости данных. Мы облегчаем жизнь специалистам по данным, чтобы вы могли сосредоточиться на своем бизнесе.
Репозиторий PyTorch для загрузки данных и утилит, которые будут использоваться библиотеками домена PyTorch.
Dataform — это фреймворк для управления операциями с данными на основе SQL в BigQuery.
⚡ Самый быстрый способ развернуть ML-модели с открытым исходным кодом для миллионов пользователей
Платформа репликации баз данных, использующая перехват изменений данных. Потоковая передача производственных данных из баз данных в ваше хранилище данных (Snowflake, BigQuery, Redshift, Databricks) в режиме реального времени.
Руководства и документация, чтобы помочь вам начать и запустить Apache Airflow.
Tuplex — это фреймворк для параллельной обработки больших данных, который выполняет конвейеры науки о данных, написанные на Python, со скоростью скомпилированного кода. Tuplex имеет API Python, аналогичные API Apache Spark или Dask, но вместо вызова интерпретатора Python Tuplex генерирует оптимизированный LLVM байт-код для заданного конвейера и набора входных данных.
Optimus — это простой в использовании, надежный и высокопроизводительный оркестратор рабочих процессов для преобразования данных, моделирования данных, конвейеров и управления качеством данных.
Фреймворк Golang для потокового ETL, конвейеров данных наблюдаемости и приложений обработки событий
Чистый Go-фреймворк для параллельного программирования задач общего назначения
Этот пакет dbt захватывает метаданные, артефакты и результаты тестов, чтобы вы могли обнаруживать аномалии, отслеживать качество данных и создавать таблицы метаданных. Он питает Elementary OSS и обеспечивает более широкий слой контекста, используемый полным Data & AI Control Plane от Elementary Cloud.
Apache Spark 3 - Программирование на Python в Spark для начинающих
Часто задаваемые вопросы
Какой репозиторий по теме #data-pipelines наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #data-pipelines на GitHub — twitter/the-algorithm, набравший 73,884 звёзд. Исходный код алгоритма рекомендаций X
Какие языки программирования чаще всего используются в репозиториях по теме #data-pipelines?
Среди наиболее высоко оценённых проектов по теме #data-pipelines на GitHub чаще всего используются языки программирования Python, Go, Java, Rust.
Как рассчитывается рейтинг репозиториев по теме #data-pipelines?
Мы отслеживаем 50 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-pipelines (500 и более звёзд), с общим числом 323,108 звёзд и в среднем 6,462 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.