#data-integration Репозитории
Откройте для себя 57 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-integration, с общим числом 259,956 звёзд (в среднем 4,560 на проект). Лидером этой темы является apache/airflow, набравший 47,583 звёзд.
Всего репозиториев: 57
Apache Airflow - Платформа для программного создания, планирования и мониторинга рабочих процессов
Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.
Превратите данные и алгоритмы ИИ в готовые к производству веб-приложения в кратчайшие сроки.
Платформа оркестрации для разработки, производства и наблюдения за данными активами.
SeaTunnel — это мультимодальный, высокопроизводительный, распределённый инструмент интеграции больших данных.
🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.
Конвейеры данных для данных конфигурации и безопасности облака. Создание решений для инвентаризации облачных активов, CSPM, FinOps и управления уязвимостями. Извлечение данных из AWS, Azure, GCP и более чем 70 облачных и SaaS-источников.
Страница визуализации интеграции DataX: выберите источник данных, чтобы с одного клика сгенерировать задачу синхронизации данных. Поддерживает источники данных, такие как RDBMS, Hive, HBase, ClickHouse, MongoDB и т.д. Пакетное создание задач синхронизации данных RDBMS, интеграция с открытой системой планирования, поддержка распределенной обработки, инкрементальной синхронизации данных, просмотра логов выполнения в реальном времени, мониторинга ресурсов исполнителя, KILL выполняющихся процессов, шифрования информации источников данных и т.д.
🦀 Обработка потоков событий для разработчиков, чтобы собирать и преобразовывать данные в движении для питания отзывчивых приложений с интенсивной обработкой данных.
Jitsu — это альтернатива Segment с открытым исходным кодом. Полностью настраиваемый движок для приема данных для современных команд данных. Настройте конвейер данных в реальном времени за считанные минуты, а не дни
Альтернатива Segment, ориентированная на конфиденциальность и безопасность, на Golang и React
ingestr — это CLI-инструмент для бесшовного копирования данных между любыми базами данных одной командой.
Список, курируемый сообществом, программных пакетов и ресурсов данных для single-cell, включая RNA-seq, ATAC-seq и т.д.
Apache DevLake — это платформа для анализа данных разработки с открытым исходным кодом, предназначенная для сбора, анализа и визуализации разрозненных данных из инструментов DevOps, извлекая ценную информацию для инженерного совершенства, опыта разработчиков и роста сообщества.
Подключите данные вашей компании, поручите агенту создать на их основе онтологию и загрузите её в HelixDB в виде единого графа, который можно исследовать и запрашивать. Доступно на foundry.helix-db.com или для запуска на вашем компьютере.
:elephant: Elasticsearch в режиме реального времени для поиска и анализа, интегрированный с Hadoop
ETL/ELT с открытым исходным кодом, который можно развернуть на собственных серверах или в облаке. Построен на DuckDB: визуальные конвейеры без кода или с минимальным кодом либо SQL, 446 компонентов, dbt, CDC, контроль качества данных, обратный ETL, происхождение данных и MCP для ИИ-агентов. Без облака поставщика и без оплаты за каждую строку.
Этот репозиторий хранит конфигурации рабочих процессов N8N, которыми я делюсь на своем YouTube-канале. Пользователи могут напрямую скачивать JSON-файлы и импортировать их в N8N для использования.
Активно развиваемый преемник Alibaba DataX — быстрый и универсальный ETL-инструмент с открытым исходным кодом для более чем 30 источников данных RDBMS и NoSQL.
Dropbase помогает разработчикам быстрее создавать и прототипировать веб-приложения с помощью ИИ. Dropbase является локальным и размещается самостоятельно.
🌊 Непрерывно синхронизируйте системы, в которых находятся ваши данные, с системами, в которых вы _хотите_ их видеть, управляя потоками данных с помощью Estuary. 🌊
qData — это лёгкая полнофункциональная дата-платформа с нативной поддержкой ИИ и открытым исходным кодом. Она охватывает интеграцию, разработку, моделирование и управление данными, а также активы и API-сервисы, поддерживая самостоятельное размещение, гибкое масштабирование и коммерческое использование.
SeaTunnel — это распределенная высокопроизводительная платформа интеграции данных для синхронизации и преобразования огромных объемов данных (в пакетном режиме и в реальном времени).
Платформа репликации баз данных, использующая перехват изменений данных. Потоковая передача производственных данных из баз данных в ваше хранилище данных (Snowflake, BigQuery, Redshift, Databricks) в режиме реального времени.
Непрерывно обновляемый список статей о достижениях в Data Agents. Сопутствующий репозиторий к нашей статье «A Survey of Data Agents: Emerging Paradigm or Overstated Hype?»
NicheNet: предсказание активных связей лиганд-мишень между взаимодействующими клетками
Быстрая, чувствительная и точная интеграция данных одиночных клеток с помощью Harmony
Conduit передает данные между хранилищами данных. Замена Kafka Connect. JVM не требуется.
SDK федерации запросов Amazon Athena позволяет настроить Amazon Athena с использованием собственных источников данных и кода.
Python-библиотека для обучения нейронных сетей с сильным акцентом на гидрологические приложения.
В этом руководстве пошагово объясняется, как подключить ваши данные к библиотеке Charting Library
Часто задаваемые вопросы
Какой репозиторий по теме #data-integration наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #data-integration на GitHub — apache/airflow, набравший 47,583 звёзд. Apache Airflow - Платформа для программного создания, планирования и мониторинга рабочих процессов
Какие языки программирования чаще всего используются в репозиториях по теме #data-integration?
Среди наиболее высоко оценённых проектов по теме #data-integration на GitHub чаще всего используются языки программирования Java, Python, Go, Rust.
Как рассчитывается рейтинг репозиториев по теме #data-integration?
Мы отслеживаем 57 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-integration (500 и более звёзд), с общим числом 259,956 звёзд и в среднем 4,560 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.