#data-pipeline Репозитории
Откройте для себя 67 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-pipeline, с общим числом 219,024 звёзд (в среднем 3,269 на проект). Лидером этой темы является xai-org/x-algorithm, набравший 34,361 звёзд.
Всего репозиториев: 67
Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.
Расширение возможностей интеллекта данных с помощью распределенного SQL для шардинга, масштабируемости и безопасности во всех базах данных.
Захват измененных данных для различных баз данных. Пожалуйста, сообщайте о проблемах на https://github.com/debezium/dbz/issues.
Куратированный список потрясающих open source движков рабочих процессов
Репозиторий RedPajama-Data содержит код для подготовки больших наборов данных для обучения больших языковых моделей.
Самостоятельно размещаемый оркестратор рабочих процессов для команд, чья основная работа не связана с оркестрацией. Декларативный YAML для ваших скриптов, SSH-команд, контейнеров и т. д.; отделяйте рабочие процессы от бизнес-логики. Один бинарный файл, без базы данных, работает при ограниченных аппаратных ресурсах. Альтернатива Airflow, Cron и планировщикам заданий.
Альтернатива Segment, ориентированная на конфиденциальность и безопасность, на Golang и React
ingestr — это CLI-инструмент для бесшовного копирования данных между любыми базами данных одной командой.
Сервер логического вывода с открытым исходным кодом и производственный кластер для всех моделей, необходимых вашему агенту.
Memphis.dev — это высокомасштабируемая и простая платформа для потоковой передачи данных
Библиотека с открытым исходным кодом для ведения журналов данных для моделей машинного обучения и конвейеров данных. 📚 Обеспечивает наглядность качества данных и производительности модели с течением времени. 🛡️ Поддерживает сбор данных с сохранением конфиденциальности, обеспечивая безопасность и надежность. 📈
Члены Конгресса Соединенных Штатов, 1789-настоящее время, в формате YAML/JSON/CSV, а также комитеты, президенты и вице-президенты.
Собственное решение dbt для наблюдения за данными для инженеров по данным и аналитике. Мониторьте ваши конвейеры данных за считанные минуты. Доступно как самостоятельное или облачное решение с премиальными функциями.
Meridian преодолевает информационный шум, собирая данные из сотен источников, анализируя истории с помощью ИИ и предоставляя краткие персонализированные ежедневные сводки.
Извлекатель данных Polymarket, который загружает, обрабатывает и структурирует данные Polymarket, включая рынки, события ордеров и сделки.
OLake Go: система репликации с открытым исходным кодом для передачи данных из баз данных, Kafka и S3 в Apache Iceberg и Parquet. Источники: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Ранее — datazip-inc/olake. Обслуживание таблиц находится в datazip-inc/olake-fusion.
Композитная система анализа команды акций с множественными ИИ-агентами для мониторинга доски, основанная на нескольких ИИ-агентах, симулирует процесс анализа команды аналитиков ценных бумаг, предоставляя всесторонний анализ инвестиций в акции и рекомендации по принятию решений. Новое: анализ отслеживания списка драконов и тигров горячего капитала, анализ предупреждений и ротации секторов, поддержка пакетного многопоточного анализа, мониторинг в реальном времени ключевых уровней, отправка оповещений, зарезервированный интерфейс miniqmt, поддержка количественной торговли, действительно реализует «ИИ торгует акциями за вас», подходит для акций A материкового Китая. Для тестового сайта ниже введите временный ключ deepseek, удалите после теста, чтобы избежать риска утечки. Примечание: Чрезмерный доступ к тестовому облачному сервису может привести к отказу источника данных. Для использования разверните локально.
Скрапинг secwiki и xuanwu.github.io/sec.today, анализ сайтов с информацией о безопасности, тенденций безопасности, извлечение аккаунтов специалистов по безопасности (twitter, weixin, github и т.д.)
ETL/ELT с открытым исходным кодом, который можно развернуть на собственных серверах или в облаке. Построен на DuckDB: визуальные конвейеры без кода или с минимальным кодом либо SQL, 446 компонентов, dbt, CDC, контроль качества данных, обратный ETL, происхождение данных и MCP для ИИ-агентов. Без облака поставщика и без оплаты за каждую строку.
Исходный код, сопровождающий книгу: Наука о данных на платформе Google Cloud, Valliappa Lakshmanan, O'Reilly 2017
Kspider — это платформа для веб-сканирования, которая позволяет графически определять рабочие процессы сканирования, что позволяет реализовать рабочий процесс сканирования без кода. Kspider не ограничивается только веб-сканированием, но также может использоваться для автоматизированного тестирования веб-приложений. Больше функций ждут вас для изучения.
Создайте хранилище данных в SQL Server на основе двух исходных систем — CRM и ERP — с использованием слоёв bronze, silver и gold. Файлы и скрипты полного бесплатного проекта.
zerocode-tdd — это бесплатный автоматизированный фреймворк для тестирования с открытым исходным кодом, разработанный сообществом и ориентированный на результат. Он предназначен для тестирования конвейеров данных, ETL, REST API, Kafka (потоков данных), баз данных и сценариев нагрузки — всё определяется в простом JSON или YAML, без написания кода.
🌊 Непрерывно синхронизируйте системы, в которых находятся ваши данные, с системами, в которых вы _хотите_ их видеть, управляя потоками данных с помощью Estuary. 🌊
qData — это лёгкая полнофункциональная дата-платформа с нативной поддержкой ИИ и открытым исходным кодом. Она охватывает интеграцию, разработку, моделирование и управление данными, а также активы и API-сервисы, поддерживая самостоятельное размещение, гибкое масштабирование и коммерческое использование.
SeaTunnel — это распределенная высокопроизводительная платформа интеграции данных для синхронизации и преобразования огромных объемов данных (в пакетном режиме и в реальном времени).
Pythonic инструмент для оркестрации рабочих процессов машинного обучения/высокопроизводительных вычислений/квантовых вычислений в гетерогенных вычислительных средах.
Census Reporter — это проект, финансируемый Knight News Challenge, чтобы облегчить журналистам написание историй с использованием информации из Бюро переписи населения США.
Практическая инженерия данных: практическое руководство по проектам в сфере недвижимости
Список популярных поисковых запросов Weibo записывает популярные поисковые запросы в Weibo, начиная с 24 ноября 2020 года. Данные извлекаются ежечасно и архивируются ежедневно.
Открытые данные адресов на уровне населенных пунктов и кварталов по всей стране (277 191 запись)
Легко выполняйте повседневные операции CLI через Python вместо обычных программ Bash. 🇺🇦 #supporting
Ретроспективный анализ обсуждений на Hacker News десятилетней давности с помощью LLM
Инструмент для использования беспроводных сигналов, чтобы определить, следуют ли за вами.
Часто задаваемые вопросы
Какой репозиторий по теме #data-pipeline наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #data-pipeline на GitHub — xai-org/x-algorithm, набравший 34,361 звёзд. Алгоритм, поддерживающий ленту «For You» на X
Какие языки программирования чаще всего используются в репозиториях по теме #data-pipeline?
Среди наиболее высоко оценённых проектов по теме #data-pipeline на GitHub чаще всего используются языки программирования Python, Java, Go, Rust.
Как рассчитывается рейтинг репозиториев по теме #data-pipeline?
Мы отслеживаем 67 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-pipeline (500 и более звёзд), с общим числом 219,024 звёзд и в среднем 3,269 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.