#etl Repositories
Entdecke 105 aktive Open-Source-GitHub-Repositories, die mit #etl getaggt sind und insgesamt 408,616 Sterne gesammelt haben (durchschnittlich 3,891 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist pathwaycom/pathway mit 61,976 Sternen.
Insgesamt 105 Repositories
Python ETL-Framework für Stream-Verarbeitung, Echtzeitanalysen, LLM-Pipelines und RAG.
Apache Airflow - Eine Plattform zum programmgesteuerten Erstellen, Planen und Überwachen von Workflows
Orchestrieren Sie alles, überall. Die Open-Source-Steuerungsebene für Workflows rund um Daten, Infrastruktur, Geschäftsprozesse und KI-Agenten. Deklaratives YAML, ereignisgesteuert, für jede Sprache geeignet, mit Git versioniert und auf Millionen von Ausführungen skalierbar.
Open-Source-Datenbewegung für ELT-Pipelines und KI-Agenten — von APIs, Datenbanken und Dateien zu Data Warehouses, Data Lakes und KI-Anwendungen. Sowohl self-hosted als auch Cloud.
Eine Orchestrierungsplattform für die Entwicklung, Produktion und Beobachtung von Datenassets.
Inkrementeller Engine für Langhorizont-Agenten 🌟 Stern geben, wenn es dir gefällt!
🧙 Erstellen, ausführen und verwalten Sie Datenpipelines für die Datenintegration und -transformation.
Zero-ETL, unendliche Möglichkeiten. Live-Abfrage-APIs, Code und mehr mit SQL. Keine Datenbank erforderlich.
Datenpipelines für Cloud-Konfigurations- und Sicherheitsdaten. Erstellen Sie Lösungen für Cloud-Asset-Inventarisierung, CSPM, FinOps und Schwachstellenmanagement. Extraktion aus AWS, Azure, GCP und über 70 Cloud- und SaaS-Quellen.
DataX-Integrationsvisualisierungsseite: Wählen Sie eine Datenquelle aus, um Daten-Synchronisierungsaufgaben mit einem Klick zu generieren. Unterstützt Datenquellen wie RDBMS, Hive, HBase, ClickHouse, MongoDB usw. Batch-Erstellung von RDBMS-Daten-Synchronisierungsaufgaben, Integration eines Open-Source-Scheduling-Systems, Unterstützung für verteilte Verarbeitung, inkrementelle Synchronisation von Daten, Echtzeit-Überwachung von Ausführungslogs, Überwachung von Executor-Ressourcen, KILL laufender Prozesse, Verschlüsselung von Datenquelleninformationen usw.
Hochleistungs-Daten-Engine für KI und multimodale Workloads. Verarbeiten Sie Bilder, Audio, Video und strukturierte Daten in beliebigem Umfang.
Datenschutz- und sicherheitsorientierte Segment-Alternative in Golang und React
pandas auf AWS - Einfache Integration mit Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer und S3 (Parquet, CSV, JSON und EXCEL).
Eine kuratierte Liste mit Ressourcen zu knotenbasierten Benutzeroberflächen
Skalierbares und effizientes Datenumwandlungs-Framework – abwärtskompatibel mit dbt.
Ein schnelles, einfaches und kostengünstiges Werkzeug zur Replikation von Daten von Postgres in Data Warehouses, Warteschlangen und Speicher
Apache DevLake ist eine Open-Source-Plattform für Entwicklerdaten, um fragmentierte Daten aus DevOps-Tools zu erfassen, zu analysieren und zu visualisieren und Einblicke für ingenieurtechnische Exzellenz, Entwicklererfahrung und Community-Wachstum zu gewinnen.
Python-Skripte für ETL-Jobs (Extract, Transform and Load) für Ethereum-Blöcke, Transaktionen, ERC20/ERC721-Token, Transfers, Belege, Logs, Verträge, interne Transaktionen. Daten sind in Google BigQuery verfügbar https://goo.gl/oY5BCQ
Apache Hamilton hilft Datenwissenschaftlern und Ingenieuren, testbare, modulare, selbstdokumentierende Datenflüsse zu definieren, die Abstammung/Rückverfolgung und Metadaten kodieren. Läuft und skaliert überall dort, wo Python läuft.
Instill Core ist ein Full-Stack-KI-Infrastrukturwerkzeug für Daten-, Modell- und Pipeline-Orchestrierung, das entwickelt wurde, um jeden Aspekt der Erstellung vielseitiger KI-first-Anwendungen zu optimieren.
Die schnellste einheitliche Streaming-SQL-Engine in einer einzigen C++-Binärdatei. ⚡ Millisekunden-Latenz. Über 100 GB/s Durchsatz. Berechnet kontinuierlich zustandsbehafteten Kontext aus Streams, Logs, Metriken, Ereignissen und CDC.
Aktuell kuratierte Liste toller BI-Tools. PRs willkommen!
OLake Go: Open-Source-Replikation aus Datenbanken, Kafka und S3 nach Apache Iceberg und Parquet. Quellen: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Früher datazip-inc/olake. Die Tabellenwartung befindet sich in datazip-inc/olake-fusion.
Der beste Ort, um Data Engineering zu lernen. Aufbau und Pflege durch die Data Engineering Community.
Schnelle und effiziente Extraktion unstrukturierter Daten. Geschrieben in Rust mit Bindings für viele Sprachen.
Eine Python-Stream-Verarbeitungs-Engine, die nach dem Vorbild von Yahoo! Pipes modelliert ist
Dozer ist ein Echtzeit-Datentool, das CDC aus verschiedenen Quellen nutzt und Daten in verschiedene Senken verschiebt.
Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Auf DuckDB aufgebaut: visuelle No-Code-/Low-Code-Pipelines oder SQL, 446 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Datenherkunft und MCP für KI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.
Die offene Dokumentenintelligenz-Plattform für Entwickler und Hacker - DMS für die agentische Welt
Aktiv gepflegter Nachfolger von Alibaba DataX – ein schnelles, vielseitiges Open-Source-ETL-Tool für mehr als 30 RDBMS- und NoSQL-Datenquellen.
Häufig gestellte Fragen
Welches ist das beliebteste #etl-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#etl-Projekt auf GitHub ist pathwaycom/pathway mit 61,976 Sternen. Python ETL-Framework für Stream-Verarbeitung, Echtzeitanalysen, LLM-Pipelines und RAG.
Welche Programmiersprachen werden in #etl-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #etl-Projekten auf GitHub sind Python, Java, Go, Rust die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #etl-Repositories berechnet?
Wir verfolgen 105 aktive Open-Source-Repositories, die mit #etl getaggt sind (500+ Sterne), mit insgesamt 408,616 Sternen und durchschnittlich 3,891 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.