Git Stars Git Stars

#data-pipelines Repositories

Entdecke 50 aktive Open-Source-GitHub-Repositories, die mit #data-pipelines getaggt sind und insgesamt 323,108 Sterne gesammelt haben (durchschnittlich 6,462 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist twitter/the-algorithm mit 73,884 Sternen.

50
Gesamtzahl der Repositories
323,108
Gesamtanzahl der Sterne
6,462
Durchschnittliche Sterne/Repo

Insgesamt 50 Repositories

1
twitter/the-algorithm

Quellcode für den X-Empfehlungsalgorithmus

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 Aktualisiert 2025-09-08 📅 Erstellt 2023-03-27
2
pathwaycom/pathway

Python ETL-Framework für Stream-Verarbeitung, Echtzeitanalysen, LLM-Pipelines und RAG.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-11-27
3
apache/airflow

Apache Airflow - Eine Plattform zum programmgesteuerten Erstellen, Planen und Überwachen von Workflows

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-04-13
4
dagster-io/dagster

Eine Orchestrierungsplattform für die Entwicklung, Produktion und Beobachtung von Datenassets.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-04-30
5
Unstructured-IO/unstructured

Konvertieren Sie Dokumente mühelos in strukturierte Daten. Unstructured ist eine Open-Source-ETL-Lösung zur Umwandlung komplexer Dokumente in saubere, strukturierte Formate für Sprachmodelle. Besuchen Sie unsere Website, um mehr über unser Enterprise-Grade-Plattformprodukt für Produktions-Workflows, Partitionierung, Anreicherungen, Chunking und Embedding zu erfahren.

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler ist die moderne Daten-Orchestrierungsplattform. Agil zum Erstellen hochperformanter Workflows mit Low-Code.

apache
⭐ 14,559 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-03-01
7
kedro-org/kedro

Kedro ist eine Toolbox für produktionsreife Data Science. Sie nutzt Best Practices der Software-Engineering, um Ihnen bei der Erstellung von reproduzierbaren, wartbaren und modularen Data-Engineering- und Data-Science-Pipelines zu helfen.

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2019-04-18
8
mage-ai/mage-ai

🧙 Erstellen, ausführen und verwalten Sie Datenpipelines für die Datenintegration und -transformation.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] Einfache Datenaufbereitung mit den neuesten LLM-basierten Operatoren und Pipelines.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-10-13
10
fluvio-community/fluvio

🦀 Event-Stream-Verarbeitung für Entwickler, um Daten in Bewegung zu sammeln und zu transformieren, um reaktionsschnelle datenintensive Anwendungen zu ermöglichen.

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2019-08-31
11
gayanvoice/top-github-users

Überprüfe dein Ranking auf GitHub! Vergiss nicht, dieses Repository zu ⭐.

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-06-03
12
StructuredLabs/preswald

Preswald ist ein WASM-Packager für interaktive Python-basierte Datenanwendungen: Bündeln Sie vollständige komplexe Daten-Workflows, insbesondere Visualisierungen, in einzelne Dateien, die vollständig im Browser ausgeführt werden können, unter Verwendung von Pyodide, DuckDB, Pandas und Plotly, Matplotlib usw. Erstellen Sie Dashboards, Berichte und Notebooks, die offline ausgeführt werden, schnell laden und wie ein Dokument geteilt werden können.

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 Aktualisiert 2026-06-11 📅 Erstellt 2024-12-14
13
ucbepic/docetl

Ein System für agentengesteuerte LLM-gestützte Datenverarbeitung und ETL

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2024-07-09
14
Netflix/maestro

Maestro: Netflix's Workflow Orchestrator

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2024-04-17
15
meltano/meltano

Meltano: die deklarative, Code-first Datenintegrations-Engine, die Ihre wildesten Ideen für daten- und KI-gestützte Produkte beflügelt. Verabschieden Sie sich vom Schreiben, Pflegen und Skalieren Ihrer eigenen API-Integrationen.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-06-21
16
elementary-data/elementary

Die dbt-native Data-Observability-Lösung für Data & Analytics Engineers. Überwachen Sie Ihre Datenpipelines in wenigen Minuten. Verfügbar als Self-Hosted oder Cloud-Service mit Premium-Funktionen.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2021-08-30
17
feldera/feldera

Die Feldera Inkrementelle Berechnungs-Engine

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-11
18
data-engineering-community/data-engineering-wiki

Der beste Ort, um Data Engineering zu lernen. Aufbau und Pflege durch die Data Engineering Community.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 Aktualisiert 2026-09-15 📅 Erstellt 2021-05-04
19
bruin-data/bruin

Erstellen Sie Datenpipelines mit SQL und Python, nehmen Sie Daten aus verschiedenen Quellen auf, fügen Sie Qualitätsprüfungen hinzu und erstellen Sie End-to-End-Abläufe.

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-08-03
20
yobix-ai/extractous

Schnelle und effiziente Extraktion unstrukturierter Daten. Geschrieben in Rust mit Bindings für viele Sprachen.

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 Aktualisiert 2024-12-21 📅 Erstellt 2024-06-04
21
dashbitco/flow

Berechnungs-parallele Flüsse auf GenStage

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 Aktualisiert 2026-09-25 📅 Erstellt 2017-01-18
22
combust/mleap

MLeap: ML-Pipelines in die Produktion bereitstellen

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2016-08-23
23
pyper-dev/pyper

Konkurrierendes Python einfach gemacht

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Aktualisiert 2025-02-04 📅 Erstellt 2024-05-22
24
Netflix/mantis

Eine Plattform, die es Entwicklern einfach macht, Echtzeit-, kosteneffiziente und betriebsorientierte Anwendungen zu erstellen

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 Aktualisiert 2026-10-28 📅 Erstellt 2019-06-06
25
opendatadiscovery/odd-platform

Die erste Open-Source-Plattform für Datenentdeckung und Observability. Wir erleichtern den Data Practitioners das Leben, damit Sie sich auf Ihr Geschäft konzentrieren können.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2021-07-07
27
amphi-ai/amphi-etl

Visuelle Datenaufbereitung, betrieben von Python

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 Aktualisiert 2026-08-24 📅 Erstellt 2024-03-20
28
gtoonstra/etl-with-airflow

ETL-Best Practices mit Airflow, mit Beispielen

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Aktualisiert 2024-09-25 📅 Erstellt 2016-10-16
29
meta-pytorch/data

Ein PyTorch-Repository für Datenladen und Dienstprogramme, das von den PyTorch-Domain-Bibliotheken gemeinsam genutzt werden soll.

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2021-05-12
30
dataform-co/dataform

Dataform ist ein Framework zur Verwaltung von SQL-basierten Datenoperationen in BigQuery.

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-09-03
31
fal-ai/fal

⚡ Der schnellste Weg, Open-Source-ML-Modelle für Millionen bereitzustellen

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-11
32
ocsf/ocsf-schema

OCSF-Schema

ocsf
⭐ 917 👤 ocsf Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-04-16
33
mafintosh/pump

Streams zusammen verknüpfen und alle schließen, wenn einer schließt

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 Aktualisiert 2026-02-28 📅 Erstellt 2013-08-14
35
artie-labs/transfer

Datenbankreplikationsplattform, die Change Data Capture nutzt. Streamen Sie Produktionsdaten in Echtzeit von Datenbanken in Ihr Data Warehouse (Snowflake, BigQuery, Redshift, Databricks).

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 Aktualisiert 2026-05-09 📅 Erstellt 2022-11-06
36
joboccara/pipes

Pipelines für ausdrucksstarken Code bei Collections in C++

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 Aktualisiert 2024-10-30 📅 Erstellt 2017-02-19
37
astronomer/airflow-guides

Anleitungen und Dokumentationen, um Sie beim Einstieg und der Inbetriebnahme von Apache Airflow zu unterstützen.

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 Aktualisiert 2025-11-15 📅 Erstellt 2018-05-17
38
tuplex/tuplex

Tuplex ist ein paralleles Big-Data-Verarbeitungs-Framework, das Data-Science-Pipelines, die in Python geschrieben sind, mit der Geschwindigkeit von kompiliertem Code ausführt. Tuplex verfügt über ähnliche Python-APIs wie Apache Spark oder Dask, generiert jedoch anstatt den Python-Interpreter aufzurufen, optimierten LLVM-Bytecode für die gegebene Pipeline und den Eingabedatensatz.

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 Aktualisiert 2025-08-10 📅 Erstellt 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

Code für Data Pipelines mit Apache Airflow

BasPH
⭐ 810 Python 👤 BasPH User 🕐 Aktualisiert 2024-08-15 📅 Erstellt 2019-06-10
40
turbolytics/sql-flow

DuckDB für Streaming-Daten

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-11-21
41
raystack/optimus

Optimus ist ein einfach zu bedienender, zuverlässiger und performanter Workflow-Orchestrator für Datentransformation, Datenmodellierung, Pipelines und Datenqualitätsmanagement.

raystack
⭐ 757 Go 👤 raystack Organization 🕐 Aktualisiert 2024-06-08 📅 Erstellt 2021-03-22
42
datalab-to/pdftext

Extrahieren Sie schnell strukturierte Texte aus PDFs

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2024-04-24
43
digitalocean/firebolt

Golang-Framework für Streaming-ETL, Observability-Datapipelines und Event-Processing-Apps

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 Aktualisiert 2024-06-14 📅 Erstellt 2019-10-31
44
noneback/go-taskflow

Ein reines Go-Framework für allgemeine task-parallele Programmierung

noneback
⭐ 642 Go 👤 noneback User 🕐 Aktualisiert 2026-08-16 📅 Erstellt 2024-03-06
45
cgrand/xforms

Zusätzliche Transducer und Reduzierungsfunktionen für Clojure(script)

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 Aktualisiert 2024-01-22 📅 Erstellt 2015-09-03
46
singer-io/singer-python

Schreibt das Singer-Format aus Python

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2016-10-28
47
apache/flink-playgrounds

Apache Flink Spielplätze

apache
⭐ 555 Java 👤 apache Organization 🕐 Aktualisiert 2026-09-28 📅 Erstellt 2019-07-12
48
cas-bigdatalab/piflow

πflow ist ein Big-Data-Flow-Engine mit Spark-Unterstützung

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-05-03
49
elementary-data/dbt-data-reliability

Dieses dbt-Paket erfasst Metadaten, Artefakte und Testergebnisse, damit Sie Anomalien erkennen, die Datenqualität überwachen und Metadatentabellen erstellen können. Es treibt Elementary OSS an und versorgt die breitere Kontextschicht, die vom vollständigen Data & AI Control Plane von Elementary Cloud verwendet wird.

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - Spark-Programmierung in Python für Anfänger

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 Aktualisiert 2024-07-25 📅 Erstellt 2020-05-31

Häufig gestellte Fragen

1

Welches ist das beliebteste #data-pipelines-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#data-pipelines-Projekt auf GitHub ist twitter/the-algorithm mit 73,884 Sternen. Quellcode für den X-Empfehlungsalgorithmus

2

Welche Programmiersprachen werden in #data-pipelines-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #data-pipelines-Projekten auf GitHub sind Python, Go, Java, Rust die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #data-pipelines-Repositories berechnet?

Wir verfolgen 50 aktive Open-Source-Repositories, die mit #data-pipelines getaggt sind (500+ Sterne), mit insgesamt 323,108 Sternen und durchschnittlich 6,462 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.