#data-ingestion Репозитории
Откройте для себя 33 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-ingestion, с общим числом 66,183 звёзд (в среднем 2,005 на проект). Лидером этой темы является apache/seatunnel, набравший 9,821 звёзд.
Всего репозиториев: 33
SeaTunnel — это мультимодальный, высокопроизводительный, распределённый инструмент интеграции больших данных.
LLM Zoomcamp — бесплатный онлайн-курс о практическом применении LLM. За 10 недель вы научитесь создавать ИИ-систему, которая отвечает на вопросы по вашей базе знаний. Регистрируйтесь здесь 👇🏼
ingestr — это CLI-инструмент для бесшовного копирования данных между любыми базами данных одной командой.
Apache Paimon — это формат озера данных, который позволяет создавать архитектуру Realtime Lakehouse с помощью Flink и Spark как для потоковых, так и для пакетных операций.
Одновременная и многоэтапная загрузка данных и обработка данных с помощью Elixir
OLake Go: система репликации с открытым исходным кодом для передачи данных из баз данных, Kafka и S3 в Apache Iceberg и Parquet. Источники: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Ранее — datazip-inc/olake. Обслуживание таблиц находится в datazip-inc/olake-fusion.
Pravega - Потоковая передача как новая программно-определяемая примитивная единица хранения
Создавайте конвейеры данных с помощью SQL и Python, принимайте данные из различных источников, добавляйте проверки качества и создавайте сквозные процессы.
Потоковый CSV-парсер, вдохновленный binary-csv, который призван быть быстрее всех остальных
API почтовых индексов и геопозиционирования Великобритании, предоставляющая открытые данные
Проекты по написанию скриптов оболочки (shell scripting). Цель - максимально точно имитировать реальные проекты.
Коллаборативный хранитель рецептов, планировщик питания и организатор списков покупок в форме PWA.
uniVocity-parsers — это набор чрезвычайно быстрых и надежных парсеров для Java. Он предоставляет согласованный интерфейс для работы с различными форматами файлов и надежную основу для разработки новых парсеров.
Копирование в/из Parquet в S3, Azure Blob Storage, Google Cloud Storage, хранилищах http(s), локальных файлах или стандартном потоке ввода/вывода из PostgreSQL
Загрузчик базы данных Amazon Redshift, реализованный в AWS Lambda
Получите доступ к своим задачам Taskwarrior из любого браузера в любом месте
Утилита на чистом Python для извлечения текста и изображений из файлов docx.
Kerf (Kerf1) — это колоночная база данных для тиковых данных и язык временных рядов для Linux/OSX/BSD/iOS/Android. Написана на C и нативно поддерживает JSON и SQL. Kerf можно использовать для торговых платформ, обработчиков фидов, сетей с низкой задержкой, анализа больших объемов реального времени и исторических данных, обработки журналов и многого другого.
Supabase эпохи ИИ. Модульный, открытый исходный код бэкенда для создания ИИ‑оригинального программного обеспечения — разработанный для знаний, а не для статических данных.
reth-indexer считывает данные напрямую из базы данных reth и индексирует их в традиционные и альтернативные базы данных / хранилища (postgres, GCP bigquery и т. д.), все декодируется с помощью простого файла конфигурации и без дополнительной настройки, а также предоставляет API, готовую для запроса данных.
Часто задаваемые вопросы
Какой репозиторий по теме #data-ingestion наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #data-ingestion на GitHub — apache/seatunnel, набравший 9,821 звёзд. SeaTunnel — это мультимодальный, высокопроизводительный, распределённый инструмент интеграции больших данных.
Какие языки программирования чаще всего используются в репозиториях по теме #data-ingestion?
Среди наиболее высоко оценённых проектов по теме #data-ingestion на GitHub чаще всего используются языки программирования Python, Java, Go, TypeScript.
Как рассчитывается рейтинг репозиториев по теме #data-ingestion?
Мы отслеживаем 33 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-ingestion (500 и более звёзд), с общим числом 66,183 звёзд и в среднем 2,005 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.