#etl Репозитории
Откройте для себя 105 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #etl, с общим числом 408,616 звёзд (в среднем 3,891 на проект). Лидером этой темы является pathwaycom/pathway, набравший 61,976 звёзд.
Всего репозиториев: 105
Python ETL framework для потоковой обработки, анализа в реальном времени, LLM-пайплайнов и RAG.
Apache Airflow - Платформа для программного создания, планирования и мониторинга рабочих процессов
Оркестрируйте всё и повсюду. Открытая управляющая платформа для рабочих процессов с данными, инфраструктурой, бизнес-процессами и ИИ-агентами. Декларативный YAML, событийная архитектура, поддержка любых языков, контроль версий в Git и масштабирование до миллионов запусков.
Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.
Платформа оркестрации для разработки, производства и наблюдения за данными активами.
Инкрементальный движок для агентов с долгим горизонтом 🌟 Поставь звезду, если нравится!
🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.
Zero-ETL, бесконечные возможности. API для запросов в реальном времени, код и многое другое с помощью SQL. База данных не требуется.
Конвейеры данных для данных конфигурации и безопасности облака. Создание решений для инвентаризации облачных активов, CSPM, FinOps и управления уязвимостями. Извлечение данных из AWS, Azure, GCP и более чем 70 облачных и SaaS-источников.
Страница визуализации интеграции DataX: выберите источник данных, чтобы с одного клика сгенерировать задачу синхронизации данных. Поддерживает источники данных, такие как RDBMS, Hive, HBase, ClickHouse, MongoDB и т.д. Пакетное создание задач синхронизации данных RDBMS, интеграция с открытой системой планирования, поддержка распределенной обработки, инкрементальной синхронизации данных, просмотра логов выполнения в реальном времени, мониторинга ресурсов исполнителя, KILL выполняющихся процессов, шифрования информации источников данных и т.д.
Высокопроизводительный движок данных для рабочих нагрузок ИИ и мультимодальных систем. Обрабатывайте изображения, аудио, видео и структурированные данные в любом масштабе.
Альтернатива Segment, ориентированная на конфиденциальность и безопасность, на Golang и React
pandas на AWS - Легкая интеграция с Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer и S3 (Parquet, CSV, JSON и EXCEL).
Масштабируемая и эффективная среда преобразования данных — обратно совместима с dbt.
Быстрый, простой и экономичный инструмент для репликации данных из Postgres в хранилища данных, очереди и хранилища
Apache DevLake — это платформа для анализа данных разработки с открытым исходным кодом, предназначенная для сбора, анализа и визуализации разрозненных данных из инструментов DevOps, извлекая ценную информацию для инженерного совершенства, опыта разработчиков и роста сообщества.
Скрипты Python для ETL-задач (extract, transform and load) для блоков Ethereum, транзакций, токенов ERC20 / ERC721, переводов, квитанций, логов, контрактов, внутренних транзакций. Данные доступны в Google BigQuery https://goo.gl/oY5BCQ
Apache Hamilton помогает специалистам по данным и инженерам определять тестируемые, модульные, самодокументируемые потоки данных, которые кодируют происхождение/отслеживание и метаданные. Работает и масштабируется везде, где работает python.
Instill Core — это полнофункциональный инструмент инфраструктуры ИИ для оркестрации данных, моделей и конвейеров, разработанный для оптимизации всех аспектов создания универсальных приложений с приоритетом на ИИ.
Самый быстрый унифицированный SQL-движок для потоковой обработки в одном бинарном файле C++. ⚡ Задержка — миллисекунды. Пропускная способность — более 100 ГБ/с. Непрерывно вычисляет контекст с сохранением состояния на основе потоков, журналов, метрик, событий и CDC.
Активно курируемый список крутых BI-инструментов. PR приветствуются!
OLake Go: система репликации с открытым исходным кодом для передачи данных из баз данных, Kafka и S3 в Apache Iceberg и Parquet. Источники: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Ранее — datazip-inc/olake. Обслуживание таблиц находится в datazip-inc/olake-fusion.
Лучшее место для изучения инженерии данных. Создано и поддерживается сообществом инженеров данных.
Быстрое и эффективное извлечение неструктурированных данных. Написано на Rust с привязками для многих языков.
Dozer — это инструмент для перемещения данных в режиме реального времени, который использует CDC из различных источников и перемещает данные в различные приемники.
ETL/ELT с открытым исходным кодом, который можно развернуть на собственных серверах или в облаке. Построен на DuckDB: визуальные конвейеры без кода или с минимальным кодом либо SQL, 446 компонентов, dbt, CDC, контроль качества данных, обратный ETL, происхождение данных и MCP для ИИ-агентов. Без облака поставщика и без оплаты за каждую строку.
Открытая платформа интеллектуальной обработки документов для разработчиков и хакеров - DMS для агентного мира
Активно развиваемый преемник Alibaba DataX — быстрый и универсальный ETL-инструмент с открытым исходным кодом для более чем 30 источников данных RDBMS и NoSQL.
Часто задаваемые вопросы
Какой репозиторий по теме #etl наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #etl на GitHub — pathwaycom/pathway, набравший 61,976 звёзд. Python ETL framework для потоковой обработки, анализа в реальном времени, LLM-пайплайнов и RAG.
Какие языки программирования чаще всего используются в репозиториях по теме #etl?
Среди наиболее высоко оценённых проектов по теме #etl на GitHub чаще всего используются языки программирования Python, Java, Go, Rust.
Как рассчитывается рейтинг репозиториев по теме #etl?
Мы отслеживаем 105 активных репозиториев с открытым исходным кодом, отмеченных тегом #etl (500 и более звёзд), с общим числом 408,616 звёзд и в среднем 3,891 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.