Git Stars Git Stars

#data-pipeline Repositories

Entdecke 67 aktive Open-Source-GitHub-Repositories, die mit #data-pipeline getaggt sind und insgesamt 219,024 Sterne gesammelt haben (durchschnittlich 3,269 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist xai-org/x-algorithm mit 34,361 Sternen.

67
Gesamtzahl der Repositories
219,024
Gesamtanzahl der Sterne
3,269
Durchschnittliche Sterne/Repo

Insgesamt 67 Repositories

1
xai-org/x-algorithm

Algorithmus, der den For You-Feed auf X antreibt

xai-org
⭐ 34,361 Rust 👤 xai-org Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-01-19
2
airbytehq/airbyte

Open-Source-Datenbewegung für ELT-Pipelines und KI-Agenten — von APIs, Datenbanken und Dateien zu Data Warehouses, Data Lakes und KI-Anwendungen. Sowohl self-hosted als auch Cloud.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-07-27
3
apache/shardingsphere

Data Intelligence mit Distributed SQL für Sharding, Skalierbarkeit und Sicherheit in allen Datenbanken stärken.

apache
⭐ 20,832 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-01-18
4
debezium/debezium

Change Data Capture für eine Vielzahl von Datenbanken. Bitte melden Sie Probleme unter https://github.com/debezium/dbz/issues.

debezium
⭐ 13,366 Java 👤 debezium Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2016-01-22
5
pentaho/pentaho-kettle

Pentaho Data Integration (ETL) auch bekannt als Kettle

pentaho
⭐ 8,419 Java 👤 pentaho Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2013-10-08
6
meirwah/awesome-workflow-engines

Eine kuratierte Liste toller Open-Source-Workflow-Engines

meirwah
⭐ 7,967 👤 meirwah User 🕐 Aktualisiert 2026-10-11 📅 Erstellt 2015-05-20
7
datajuicer/data-juicer

Datenverarbeitung für und mit grundlegenden Modellen! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-08-01
8
snowplow/snowplow

Der Marktführer in der Customer Data Infrastructure

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2012-03-01
9
apache/flink-cdc

Flink CDC ist ein Tool zur Streaming-Datenintegration

apache
⭐ 6,495 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-07-27
10
clidey/whodb

Wo Datenzugriff auf operative Intelligenz trifft

clidey
⭐ 5,065 Go 👤 clidey Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-06-11
11
togethercomputer/RedPajama-Data

Das RedPajama-Data-Repository enthält Code zur Vorbereitung großer Datensätze für das Training großer Sprachmodelle.

togethercomputer
⭐ 4,997 Python 👤 togethercomputer Organization 🕐 Aktualisiert 2026-06-03 📅 Erstellt 2023-04-14
12
dagucloud/dagu

Selbst hostbarer Workflow-Orchestrator für Teams, deren Hauptaufgabe nicht die Orchestrierung ist. Deklaratives YAML für Ihre Skripte, SSH-Befehle, Container usw.; halten Sie Workflows von der Geschäftslogik getrennt. Eine einzelne Binärdatei, keine Datenbank, läuft mit begrenzten Hardwareressourcen. Eine Alternative zu Airflow, Cron und Job-Schedulern.

dagucloud
⭐ 4,642 Go 👤 dagucloud Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-04-22
13
rudderlabs/rudder-server

Datenschutz- und sicherheitsorientierte Segment-Alternative in Golang und React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-07-19
14
bruin-data/ingestr

ingestr ist ein CLI-Tool, um Daten mit einem einzigen Befehl nahtlos zwischen beliebigen Datenbanken zu kopieren.

bruin-data
⭐ 4,049 Go 👤 bruin-data Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-02-12
15
adilkhash/Data-Engineering-HowTo

Eine Liste nützlicher Ressourcen, um Data Engineering von Grund auf zu lernen

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2019-03-28
16
superlinked/sie

Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-11-07
17
superstreamlabs/memphis

Memphis.dev ist eine hoch skalierbare und mühelose Datenstreaming-Plattform

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 Aktualisiert 2026-03-02 📅 Erstellt 2022-02-01
18
whylabs/whylogs

Eine Open-Source-Datenprotokollierungsbibliothek für maschinelle Lernmodelle und Datenpipelines. 📚 Bietet Einblicke in Datenqualität und Modellleistung im Laufe der Zeit. 🛡️ Unterstützt datenschutzfreundliche Datenerfassung, um Sicherheit und Robustheit zu gewährleisten. 📈

whylabs
⭐ 2,819 Jupyter Notebook 👤 whylabs Organization 🕐 Aktualisiert 2025-01-10 📅 Erstellt 2020-08-14
19
unitedstates/congress-legislators

Mitglieder des Kongresses der Vereinigten Staaten, 1789-heute, in YAML/JSON/CSV, sowie Ausschüsse, Präsidenten und Vizepräsidenten.

unitedstates
⭐ 2,473 Python 👤 unitedstates Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2012-09-27
20
elementary-data/elementary

Die dbt-native Data-Observability-Lösung für Data & Analytics Engineers. Überwachen Sie Ihre Datenpipelines in wenigen Minuten. Verfügbar als Self-Hosted oder Cloud-Service mit Premium-Funktionen.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2021-08-30
21
iliane5/meridian

Meridian durchschneidet das Nachrichtenrauschen, indem es Hunderte von Quellen durchforstet, Geschichten mit KI analysiert und prägnante, personalisierte tägliche Briefings liefert.

iliane5
⭐ 2,415 TypeScript 👤 iliane5 User 🕐 Aktualisiert 2025-05-30 📅 Erstellt 2025-03-06
22
warproxxx/poly_data

Polymarket-Daten-Retriever, der Polymarket-Daten einschließlich Märkte, Auftragsereignisse und Trades abruft, verarbeitet und strukturiert.

warproxxx
⭐ 2,353 Python 👤 warproxxx User 🕐 Aktualisiert 2026-09-08 📅 Erstellt 2025-10-03
23
reugn/go-streams

Eine leichtgewichtige Stream-Processing-Bibliothek für Go

reugn
⭐ 2,178 Go 👤 reugn User 🕐 Aktualisiert 2026-01-14 📅 Erstellt 2019-04-30
24
datazip-inc/olake-go

OLake Go: Open-Source-Replikation aus Datenbanken, Kafka und S3 nach Apache Iceberg und Parquet. Quellen: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Früher datazip-inc/olake. Die Tabellenwartung befindet sich in datazip-inc/olake-fusion.

datazip-inc
⭐ 2,166 Go 👤 datazip-inc Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-10-15
25
oficcejo/aiagents-stock

Zusammengesetztes Multi-AI-Intelligenz-Agenten-Aktien-Team-Analyse-Überwachungssystem, basierend auf mehreren AI-Agenten, simuliert den Analyseprozess eines Wertpapieranalysten-Teams, bietet umfassende Aktieninvestitionsanalysen und Entscheidungsvorschläge. Neu hinzugefügt: Hot-Money-Drachen-Tiger-Liste-Tracking-Analyse, Sektor-Warnungs-Rotation-Analyse, unterstützt Batch-Multi-Thread-Analyse, Echtzeit-Überwachung kritischer Preislevel, Versand von Alarmnachrichten, reservierte miniqmt-Schnittstelle, unterstützt quantitativen Handel, erreicht wirklich 'AI handelt Aktien für dich', geeignet für Mainland-China A-Aktien. Für die Test-Website unten Deepseek-Temporary-Key eingeben, nach Test löschen, um Leakage-Risiko zu vermeiden. Hinweis: Übermäßiger Test-Cloud-Zugriff kann Datenquelle ablehnen. Für Nutzung lokal deployen.

oficcejo
⭐ 2,101 Python 👤 oficcejo User 🕐 Aktualisiert 2026-10-10 📅 Erstellt 2025-10-03
26
pydoit/doit

Befehlszeilen-Aufgabenverwaltung und Automatisierungswerkzeug

pydoit
⭐ 2,098 Python 👤 pydoit Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2014-02-14
27
Multiwoven/multiwoven

🔥🔥🔥 Open Source Reverse ETL - Alternative zu Hightouch und Census.

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-10-20
28
bazaarvoice/jolt

JSON-zu-JSON-Transformationsbibliothek geschrieben in Java.

bazaarvoice
⭐ 1,674 Java 👤 bazaarvoice Organization 🕐 Aktualisiert 2026-10-28 📅 Erstellt 2013-02-15
29
tanjiti/sec_profile

secwiki und xuanwu.github.io/sec.today crawlen, Sicherheitsinformationsseiten, Sicherheits-Trends analysieren, Sicherheitsarbeiter-Konten (twitter, weixin, github usw.) extrahieren

tanjiti
⭐ 1,640 HTML 👤 tanjiti User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-02-19
30
slothflowlabs/duckle

Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Auf DuckDB aufgebaut: visuelle No-Code-/Low-Code-Pipelines oder SQL, 446 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Datenherkunft und MCP für KI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-05-21
31
xitongsys/parquet-go

Pure Golang-Bibliothek zum Lesen/Schreiben von Parquet-Dateien

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 Aktualisiert 2026-05-08 📅 Erstellt 2017-09-02
32
GoogleCloudPlatform/data-science-on-gcp

Quellcode, der das Buch begleitet: Data Science auf der Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 Aktualisiert 2026-02-20 📅 Erstellt 2017-02-10
33
weifuwan/seatunnel-web

Apache SeaTunnel einfacher zu bedienen machen.

weifuwan
⭐ 1,406 TypeScript 👤 weifuwan User 🕐 Aktualisiert 2026-07-16 📅 Erstellt 2026-02-10
34
kkangert/kspider

Kspider ist eine Crawler-Plattform, die es ermöglicht, Crawler-Workflows grafisch zu definieren, wodurch Crawler-Workflows ohne Code implementiert werden können. Kspider beschränkt sich nicht nur auf Web-Crawling, sondern kann auch für die WEB-Automatisierung getestet werden. Weitere Funktionen warten darauf, von Ihnen entdeckt zu werden.

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 Aktualisiert 2024-08-19 📅 Erstellt 2024-07-07
35
DataWithBaraa/sql-data-warehouse-project

Erstellen Sie in SQL Server ein Data Warehouse aus zwei Quellsystemen, einem CRM und einem ERP, über die Bronze-, Silber- und Goldschicht. Dateien und Skripte des kostenlosen vollständigen Projekts.

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2024-12-30
36
authorjapps/zerocode

zerocode-tdd ist ein kostenloses, von der Community entwickeltes Open-Source-Framework für ergebnisorientierte automatisierte Tests von Datenpipelines, ETL, REST-APIs, Kafka (Datenströmen), Datenbanken und Lastszenarien – alles in einfachem JSON oder YAML definiert, ganz ohne Programmieraufwand.

authorjapps
⭐ 1,017 Java 👤 authorjapps User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2016-07-05
37
estuary/flow

🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen Ihre Daten leben, mit den Systemen, in denen Sie sie _haben_ möchten, indem Sie Ihre Datenflüsse mit Estuary verwalten. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-02-13
38
qiantongtech/qData

qData ist eine leichtgewichtige, funktionsreiche und KI-native Open-Source-Datenplattform. Sie deckt Datenintegration, -entwicklung, -modellierung und -governance sowie Datenbestände und API-Dienste ab und unterstützt selbst gehostete Bereitstellung, flexible Skalierung und kommerzielle Nutzung.

qiantongtech
⭐ 950 Java 👤 qiantongtech Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-05-17
39
apache/seatunnel-web

SeaTunnel ist eine verteilte, hochleistungsfähige Datenintegrationsplattform für die Synchronisation und Transformation riesiger Datenmengen (Offline & Echtzeit).

apache
⭐ 888 Java 👤 apache Organization 🕐 Aktualisiert 2026-01-22 📅 Erstellt 2022-09-26
40
AgnostiqHQ/covalent

Pythonisches Werkzeug zur Orchestrierung von Machine-Learning-/High-Performance-/Quantencomputing-Workflows in heterogenen Computerumgebungen.

AgnostiqHQ
⭐ 869 Python 👤 AgnostiqHQ Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2021-11-03
41
spotify/klio

Intelligentere Datenpipelines für Audio.

spotify
⭐ 866 Python 👤 spotify Organization 🕐 Aktualisiert 2024-01-10 📅 Erstellt 2020-08-07
42
censusreporter/censusreporter

Census Reporter ist ein vom Knight News Challenge finanziertes Projekt, das es Journalisten erleichtert, Geschichten mit Informationen aus dem U.S. Census Bureau zu schreiben.

censusreporter
⭐ 846 HTML 👤 censusreporter Organization 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2013-05-20
43
ssp-data/practical-data-engineering

Praktisches Data Engineering: Ein praxisorientierter Leitfaden für Immobilienprojekte

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 Aktualisiert 2026-06-25 📅 Erstellt 2020-11-18
44
justjavac/weibo-trending-hot-search

Die Weibo-Trendliste zeichnet beliebte Suchanfragen auf Weibo seit dem 24. November 2020 auf. Daten werden stündlich erfasst und täglich archiviert.

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-11-24
45
tidymodels/infer

Ein R-Paket für tidyverse-freundliche statistische Inferenz

tidymodels
⭐ 796 R 👤 tidymodels Organization 🕐 Aktualisiert 2026-04-13 📅 Erstellt 2017-06-05
46
geolonia/japanese-addresses

Open-Data zu Adressdaten auf nationaler Ebene (277.191 Einträge) auf Gemeinde- und Stadtteilebene

geolonia
⭐ 774 JavaScript 👤 geolonia Organization 🕐 Aktualisiert 2026-08-05 📅 Erstellt 2020-07-12
47
hudl/statsbombpy

StatsBomb-Daten einfach in Python streamen

hudl
⭐ 758 Python 👤 hudl Organization 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2020-01-08
48
CZ-NIC/pz

Einfache tägliche CLI-Operationen über Python anstelle von regulären Bash-Programmen. 🇺🇦 #supporting

CZ-NIC
⭐ 732 Python 👤 CZ-NIC Organization 🕐 Aktualisiert 2025-11-24 📅 Erstellt 2020-11-25
49
karpathy/hn-time-capsule

Retrospektive Analyse von Hacker News-Diskussionen von vor einem Jahrzehnt mithilfe von LLMs

karpathy
⭐ 693 Python 👤 karpathy User 🕐 Aktualisiert 2025-12-10 📅 Erstellt 2025-12-10
50
azmatt/chasing_your_tail

Werkzeug zur Nutzung von Funksignalen, um festzustellen, ob Sie verfolgt werden.

azmatt
⭐ 691 Python 👤 azmatt User 🕐 Aktualisiert 2025-02-18 📅 Erstellt 2022-01-01

Häufig gestellte Fragen

1

Welches ist das beliebteste #data-pipeline-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#data-pipeline-Projekt auf GitHub ist xai-org/x-algorithm mit 34,361 Sternen. Algorithmus, der den For You-Feed auf X antreibt

2

Welche Programmiersprachen werden in #data-pipeline-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #data-pipeline-Projekten auf GitHub sind Python, Java, Go, Rust die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #data-pipeline-Repositories berechnet?

Wir verfolgen 67 aktive Open-Source-Repositories, die mit #data-pipeline getaggt sind (500+ Sterne), mit insgesamt 219,024 Sternen und durchschnittlich 3,269 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.