#etl Repositories
Insgesamt 105 Repositories
Unterstützung agiler Ontology-DataOps auf Basis von Flink, DataX und Flink-CDC über eine Web-Oberfläche
TypeScript-ETL-Toolkit zur Indizierung von Ethereum-, Solana- und Substrate-Daten, bezogen von SQD Network.
Ein Go-Daemon, der MongoDB in Echtzeit zu Elasticsearch synchronisiert. Weißt du, für die Suche.
Logical Replication-Erweiterung für PostgreSQL 17, 16, 15, 14, 13, 12, 11, 10, 9.6, 9.5, 9.4 (Postgres), die eine viel schnellere Replikation als Slony, Bucardo oder Londiste bietet sowie Cross-Version-Upgrades ermöglicht.
React-Komponenten zum Erstellen von CSV-Dateien in Echtzeit basierend auf Array/Literaldatenobjekt
Erstellen Sie in SQL Server ein Data Warehouse aus zwei Quellsystemen, einem CRM und einem ERP, über die Bronze-, Silber- und Goldschicht. Dateien und Skripte des kostenlosen vollständigen Projekts.
omniparser: eine native Golang ETL Streaming-Parser- und Transformationsbibliothek für CSV, JSON, XML, EDI, Text usw.
Dataform ist ein Framework zur Verwaltung von SQL-basierten Datenoperationen in BigQuery.
🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen Ihre Daten leben, mit den Systemen, in denen Sie sie _haben_ möchten, indem Sie Ihre Datenflüsse mit Estuary verwalten. 🌊
uniVocity-parsers ist eine leistungsstarke und zuverlässige Java-Parser-Suite. Es bietet eine einheitliche Schnittstelle für die Verarbeitung verschiedener Dateiformate und ein solides Framework für die Entwicklung neuer Parser.
Sling ist ein CLI-Tool, das Daten aus einem Quellspeicher/einer Quelldatenbank extrahiert und sie in einen Zielspeicher/eine Zieldatenbank lädt.
Das fortschrittlichste Datenverarbeitungs-Framework, das den Aufbau skalierbarer Datenverarbeitungs-Pipelines und den Datentransfer zwischen verschiedenen Datenquellen und -zielen ermöglicht.
Neum AI ist ein erstklassiges Framework, um die Erstellung und Synchronisierung von Vektor-Embeddings in großem Maßstab zu verwalten.
ETL-Framework für .NET (Parser / Writer für CSV-, Flat-, Xml-, JSON-, Key-Value-, Parquet-, Yaml-, Avro-formatierte Dateien)
In Swift geschriebene macOS-App, die Apple-Notizen (einschließlich iCloud-Notizen) unter Beibehaltung der Ordnerstruktur in eine Vielzahl von Formaten exportiert.
Optimus ist ein einfach zu bedienender, zuverlässiger und performanter Workflow-Orchestrator für Datentransformation, Datenmodellierung, Pipelines und Datenqualitätsmanagement.
Utility, das eine .etl-Datei mit einer Windows-Netzwerkpaketaufnahme in .pcapng-Format konvertiert.
AWS Glue-Bibliotheken sind Ergänzungen und Erweiterungen zu Spark für ETL-Operationen.
Python-Client und Toolkit für DataFrames, Big Data, Machine Learning und ETL in Elasticsearch
Das Public Utility Data Liberation Project stellt analysierfertige Energiesystemdaten für Klimaschützer, Forscher, Politiker und Journalisten zur Verfügung.
Conduit überträgt Daten zwischen Datenspeichern. Ersatz für Kafka Connect. Kein JVM erforderlich.
ApeCloud's Data Transfer Suite, geschrieben in Rust. Bietet ultraschnelle Datenreplikation zwischen MySQL, PostgreSQL, Redis, MongoDB, Kafka und ClickHouse, ideal für Disaster Recovery (DR) und Migrationsszenarien.
Sycamore ist eine LLM-gestützte Such- und Analyseplattform für unstrukturierte Daten.
Ein kostenlos nutzbares dbt-Paket zum Erstellen und Laden von Data Vault 2.0-konformen Data Warehouses (betrieben von dbt, einem Open-Source-Data-Engineering-Tool, eingetragenes Warenzeichen von dbt Labs)
Ein Python-Toolkit zum Extrahieren und Transformieren von Bitcoin-Blockchain-Daten in strukturierte Formate.
Eine kuratierte Liste von großartigen Systemintegrationssoftware und -ressourcen.
Ein verteiltes umfassendes Scheduling-, Management- und ETL-Entwicklungstool für Benutzer in der professionellen Version mit B/S-Architektur, entwickelt auf Basis der Web-Version von Kettle
Kuratiertes Verzeichnis von Open-Source-Tools, die in Analytics-Plattformen und dem Data-Engineering-Ökosystem verwendet werden
Ein Zentrum für verschiedene branchenspezifische Schemata zur Verwendung mit VLMs.