#etl Репозитории
Всего репозиториев: 105
Поддержка гибких Ontology DataOps на базе Flink, DataX и Flink-CDC через веб-интерфейс
Инструментарий ETL на TypeScript для индексации данных Ethereum, Solana и Substrate, полученных из SQD Network.
Демон на Go, который синхронизирует MongoDB с Elasticsearch в реальном времени. Знаешь, для поиска.
Расширение для логической репликации для PostgreSQL 17, 16, 15, 14, 13, 12, 11, 10, 9.6, 9.5, 9.4 (Postgres), обеспечивающее гораздо более быструю репликацию, чем Slony, Bucardo или Londiste, а также обновления между версиями.
Компоненты React для создания файлов CSV на лету на основе Array/литерального объекта данных
Создайте хранилище данных в SQL Server на основе двух исходных систем — CRM и ERP — с использованием слоёв bronze, silver и gold. Файлы и скрипты полного бесплатного проекта.
omniparser: нативная библиотека Golang для парсинга и трансформации потоковых данных ETL для CSV, JSON, XML, EDI, текста и т. д.
Dataform — это фреймворк для управления операциями с данными на основе SQL в BigQuery.
🌊 Непрерывно синхронизируйте системы, в которых находятся ваши данные, с системами, в которых вы _хотите_ их видеть, управляя потоками данных с помощью Estuary. 🌊
uniVocity-parsers — это набор чрезвычайно быстрых и надежных парсеров для Java. Он предоставляет согласованный интерфейс для работы с различными форматами файлов и надежную основу для разработки новых парсеров.
Sling — это инструмент командной строки (CLI), который извлекает данные из исходного хранилища/базы данных и загружает их в целевое хранилище/базу данных.
Самая продвинутая платформа для обработки данных, позволяющая создавать масштабируемые конвейеры обработки данных и перемещать данные между различными источниками и назначениями данных.
Neum AI — это лучшая в своем классе платформа для управления созданием и синхронизацией векторных вложений в больших масштабах.
ETL-фреймворк для .NET (Парсер / Записыватель для файлов в форматах CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro)
Потоковая передача, преобразование и маршрутизация данных PostgreSQL в режиме реального времени.
Приложение для macOS, написанное на Swift, которое выполняет пакетный экспорт заметок Apple (включая заметки iCloud) в различные форматы с сохранением структуры папок.
Optimus — это простой в использовании, надежный и высокопроизводительный оркестратор рабочих процессов для преобразования данных, моделирования данных, конвейеров и управления качеством данных.
Утилита, которая конвертирует файл .etl, содержащий захват сетевых пакетов Windows, в формат .pcapng.
Клиент и набор инструментов Python для DataFrames, Big Data, Machine Learning и ETL в Elasticsearch
Ведущее решение для обеспечения качества данных с открытым исходным кодом
Проект освобождения данных общественных коммунальных услуг предоставляет готовые для анализа данные энергетических систем климатическим активистам, исследователям, политикам и журналистам.
Conduit передает данные между хранилищами данных. Замена Kafka Connect. JVM не требуется.
Комплект для передачи данных ApeCloud, написанный на Rust. Обеспечивает сверхбыструю репликацию данных между MySQL, PostgreSQL, Redis, MongoDB, Kafka и ClickHouse, идеально подходит для сценариев аварийного восстановления (DR) и миграции.
Sycamore — это платформа для поиска и анализа неструктурированных данных на базе LLM.
Бесплатный пакет dbt для создания и загрузки хранилищ данных, соответствующих Data Vault 2.0 (работает на dbt, инструменте инженерии данных с открытым исходным кодом, зарегистрированная торговая марка dbt Labs)
Инструментарий Python для извлечения и преобразования данных блокчейна Биткойн в структурированные форматы.
Курируемый список замечательных программных обеспечений и ресурсов для системной интеграции.
Набор инструментов распределенного комплексного планирования, управления и разработки ETL для пользователей профессиональной версии с архитектурой B/S, разработанный на основе веб-версии Kettle
Куратированный список инструментов с открытым исходным кодом, используемых в аналитических платформах и экосистеме инженерии данных