Git Stars Git Stars

#data-engineering Repositories

Entdecke 152 aktive Open-Source-GitHub-Repositories, die mit #data-engineering getaggt sind und insgesamt 727,632 Sterne gesammelt haben (durchschnittlich 4,787 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist apache/superset mit 75,603 Sternen.

152
Gesamtzahl der Repositories
727,632
Gesamtanzahl der Sterne
4,787
Durchschnittliche Sterne/Repo

Insgesamt 152 Repositories

1
apache/superset

Apache Superset ist eine Plattform für Datenvisualisierung und Datenerkundung

apache
⭐ 75,603 Python 👤 apache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-07-21
2
GokuMohandas/Made-With-ML

Lernen Sie, wie man produktionsreife ML-Anwendungen entwickelt, bereitstellt und iteriert.

GokuMohandas
⭐ 50,112 Jupyter Notebook 👤 GokuMohandas User 🕐 Aktualisiert 2026-03-04 📅 Erstellt 2018-11-05
3
apache/airflow

Apache Airflow - Eine Plattform zum programmgesteuerten Erstellen, Planen und Überwachen von Workflows

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-04-13
4
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp ist ein kostenloser 9-wöchiger Kurs über den Aufbau von produktionsreifen Datenpipelines. Nimm hier am Kurs teil 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2021-10-21
5
kestra-io/kestra

Orchestrieren Sie alles, überall. Die Open-Source-Steuerungsebene für Workflows rund um Daten, Infrastruktur, Geschäftsprozesse und KI-Agenten. Deklaratives YAML, ereignisgesteuert, für jede Sprache geeignet, mit Git versioniert und auf Millionen von Ausführungen skalierbar.

kestra-io
⭐ 30,303 Java 👤 kestra-io Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-08-24
6
eugeneyan/applied-ml

📚 Artikel & Tech-Blogs von Unternehmen, die ihre Arbeit zu Data Science & Machine Learning in der Produktion teilen.

eugeneyan
⭐ 28,577 👤 eugeneyan User 🕐 Aktualisiert 2024-07-18 📅 Erstellt 2020-07-04
7
PrefectHQ/prefect

Prefect ist ein Workflow-Orchestrierungs-Framework zum Erstellen robuster Datenpipelines in Python.

PrefectHQ
⭐ 24,203 Python 👤 PrefectHQ Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-06-29
8
airbytehq/airbyte

Open-Source-Datenbewegung für ELT-Pipelines und KI-Agenten — von APIs, Datenbanken und Dateien zu Data Warehouses, Data Lakes und KI-Anwendungen. Sowohl self-hosted als auch Cloud.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-07-27
9
Avaiga/taipy

Verwandelt Daten und KI-Algorithmen im Handumdrehen in produktionsreife Webanwendungen.

Avaiga
⭐ 19,458 Python 👤 Avaiga Organization 🕐 Aktualisiert 2026-08-10 📅 Erstellt 2022-02-18
10
argoproj/argo-workflows

Workflow-Engine für Kubernetes

argoproj
⭐ 17,108 Go 👤 argoproj Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2017-08-21
11
dagster-io/dagster

Eine Orchestrierungsplattform für die Entwicklung, Produktion und Beobachtung von Datenassets.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-04-30
12
andkret/Cookbook

Das Data Engineering Kochbuch

andkret
⭐ 15,594 Python 👤 andkret User 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2019-03-10
13
semantica-agi/semantica

Graph-native semantische Schicht für vertrauenswürdige Enterprise-KI

semantica-agi
⭐ 14,701 Python 👤 semantica-agi Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-06-25
14
fivetran/great_expectations

Wissen Sie immer, was Sie von Ihren Daten erwarten können.

fivetran
⭐ 11,941 Python 👤 fivetran Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2017-09-11
15
cocoindex-io/cocoindex

Inkrementeller Engine für Langhorizont-Agenten 🌟 Stern geben, wenn es dir gefällt!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-03-03
16
xonsh/xonsh

🐚 Python-betriebene Shell. Voll ausgestatteter, plattformunabhängiger und KI-freundlicher.

xonsh
⭐ 9,704 Python 👤 xonsh Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2015-01-21
17
risingwavelabs/risingwave

Event-Streaming-Plattform für agentisches KI. Kontinuierlich Events in Echtzeit in großem Maßstab aufnehmen, transformieren und bereitstellen.

risingwavelabs
⭐ 9,425 Rust 👤 risingwavelabs Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-01-28
18
mage-ai/mage-ai

🧙 Erstellen, ausführen und verwalten Sie Datenpipelines für die Datenintegration und -transformation.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-05-16
19
redpanda-data/connect

Ausgefallene Stream-Verarbeitung operational alltäglich gemacht

redpanda-data
⭐ 8,804 Go 👤 redpanda-data Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-03-22
20
growthbook/growthbook

Open-Source-Feature-Flags, Experimentierung und Produktanalyse

growthbook
⭐ 8,639 TypeScript 👤 growthbook Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-05-07
21
Zipstack/unstract

LLM-gestützte Extraktion unstrukturierter Daten — Für API-Deployments und ETL-Pipeline-Workflows entwickelt

Zipstack
⭐ 7,462 Python 👤 Zipstack Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-02-21
22
feast-dev/feast

Der Open-Source-Feature-Store für KI/ML

feast-dev
⭐ 7,362 Python 👤 feast-dev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-12-10
23
evidence-dev/evidence

Business Intelligence als Code: Erstellen Sie schnelle, interaktive Datenvisualisierungen in SQL und Markdown

evidence-dev
⭐ 7,140 TypeScript 👤 evidence-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-05-27
24
cloudquery/cloudquery

Datenpipelines für Cloud-Konfigurations- und Sicherheitsdaten. Erstellen Sie Lösungen für Cloud-Asset-Inventarisierung, CSPM, FinOps und Schwachstellenmanagement. Extraktion aus AWS, Azure, GCP und über 70 Cloud- und SaaS-Quellen.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-11-18
25
dlt-hub/dlt

Das Data Load Tool (dlt) ist eine Open-Source-Python-Bibliothek, die das Laden von Daten erleichtert 🛠️

dlt-hub
⭐ 6,115 Python 👤 dlt-hub Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-01-26
26
WeiYe-Jing/datax-web

DataX-Integrationsvisualisierungsseite: Wählen Sie eine Datenquelle aus, um Daten-Synchronisierungsaufgaben mit einem Klick zu generieren. Unterstützt Datenquellen wie RDBMS, Hive, HBase, ClickHouse, MongoDB usw. Batch-Erstellung von RDBMS-Daten-Synchronisierungsaufgaben, Integration eines Open-Source-Scheduling-Systems, Unterstützung für verteilte Verarbeitung, inkrementelle Synchronisation von Daten, Echtzeit-Überwachung von Ausführungslogs, Überwachung von Executor-Ressourcen, KILL laufender Prozesse, Verschlüsselung von Datenquelleninformationen usw.

WeiYe-Jing
⭐ 5,958 Java 👤 WeiYe-Jing User 🕐 Aktualisiert 2024-06-02 📅 Erstellt 2019-11-19
27
Eventual-Inc/Daft

Hochleistungs-Daten-Engine für KI und multimodale Workloads. Verarbeiten Sie Bilder, Audio, Video und strukturierte Daten in beliebigem Umfang.

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2022-04-25
28
treeverse/lakeFS

lakeFS - Datenversionskontrolle für Ihren Data Lake | Git für Daten

treeverse
⭐ 5,590 Go 👤 treeverse Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2019-09-12
29
chiphuyen/dmls-book

Zusammenfassungen und Ressourcen für das Buch "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)

chiphuyen
⭐ 5,481 👤 chiphuyen User 🕐 Aktualisiert 2026-06-09 📅 Erstellt 2022-05-27
30
ruc-datalab/DeepAnalyze

DeepAnalyze ist das erste agentische LLM für autonome Datenwissenschaft. 🎈 Ihr KI-Datenanalyst, der automatisch große Datenmengen analysiert und professionelle Analyseberichte mit einem Klick erstellt!

ruc-datalab
⭐ 4,833 Python 👤 ruc-datalab Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2025-10-11
31
rudderlabs/rudder-server

Datenschutz- und sicherheitsorientierte Segment-Alternative in Golang und React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-07-19
32
Moataz-Elmesmary/Data-Science-Roadmap

Data Science Roadmap von A bis Z

Moataz-Elmesmary
⭐ 4,429 👤 Moataz-Elmesmary User 🕐 Aktualisiert 2025-12-06 📅 Erstellt 2022-04-17
33
whoiskatrin/sql-translator

SQL Translator ist ein Werkzeug zur Umwandlung natürlicher Abfragen in SQL-Code mithilfe künstlicher Intelligenz. Dieses Projekt ist 100% kostenlos und Open Source.

whoiskatrin
⭐ 4,315 TypeScript 👤 whoiskatrin User 🕐 Aktualisiert 2025-07-06 📅 Erstellt 2023-03-11
34
aws/aws-sdk-pandas

pandas auf AWS - Einfache Integration mit Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer und S3 (Parquet, CSV, JSON und EXCEL).

aws
⭐ 4,124 Python 👤 aws Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-02-26
35
adilkhash/Data-Engineering-HowTo

Eine Liste nützlicher Ressourcen, um Data Engineering von Grund auf zu lernen

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2019-03-28
36
knownsec/aipyapp

KI-gestütztes Python & KI-gestütztes Python (Python-Nutzung)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 Aktualisiert 2026-02-15 📅 Erstellt 2025-04-06
37
quadratichq/quadratic

Tabellenkalkulation mit KI, Code, Verbindungen

quadratichq
⭐ 3,958 Rust 👤 quadratichq Organization 🕐 Aktualisiert 2026-03-07 📅 Erstellt 2021-11-11
38
camelot-dev/camelot

Eine Python-Bibliothek zum Extrahieren von Tabellendaten aus PDFs

camelot-dev
⭐ 3,858 Python 👤 camelot-dev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-07-01
39
Netflix/maestro

Maestro: Netflix's Workflow Orchestrator

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2024-04-17
40
dathere/qsv

Blitzschnelles neuro-symbolisches Toolkit zur Datenaufbereitung

dathere
⭐ 3,836 Rust 👤 dathere Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-12-11
41
moabukar/tech-vault

Eine Liste vieler Interviewfragen & realer Herausforderungen in der Technik! (https://tech-vault-web.vercel.app/)

moabukar
⭐ 3,599 HCL 👤 moabukar User 🕐 Aktualisiert 2026-03-01 📅 Erstellt 2023-03-27
42
lakehq/sail

Drop-in-Ersatz für Apache Spark, geschrieben in Rust, der Batch-Verarbeitung, Stream-Verarbeitung und rechenintensive KI-Workloads vereint.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-21
43
superstreamlabs/memphis

Memphis.dev ist eine hoch skalierbare und mühelose Datenstreaming-Plattform

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 Aktualisiert 2026-03-02 📅 Erstellt 2022-02-01
44
GokuMohandas/mlops-course

Erfahren Sie, wie Sie produktionsreife ML-Anwendungen entwerfen, entwickeln, bereitstellen und iterieren.

GokuMohandas
⭐ 3,272 Jupyter Notebook 👤 GokuMohandas User 🕐 Aktualisiert 2024-08-16 📅 Erstellt 2020-11-12
45
apache/devlake

Apache DevLake ist eine Open-Source-Plattform für Entwicklerdaten, um fragmentierte Daten aus DevOps-Tools zu erfassen, zu analysieren und zu visualisieren und Einblicke für ingenieurtechnische Exzellenz, Entwicklererfahrung und Community-Wachstum zu gewinnen.

apache
⭐ 3,204 Go 👤 apache Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2021-07-08
46
itsdecodingai/second-brain-ai-assistant-course

Lernen Sie, Ihren Second Brain KI-Assistenten mit LLMs, Agenten, RAG, Fine-Tuning, LLMOps und KI-Systemtechniken zu erstellen.

itsdecodingai
⭐ 3,138 Jupyter Notebook 👤 itsdecodingai Organization 🕐 Aktualisiert 2026-04-06 📅 Erstellt 2024-12-30
47
Zleap-AI/SAG

Ein neuer SOTA für RAG – eine originelle Retrieval-Architektur und eine Open-Source-Wissensdatenbank für Menschen und Agenten.

Zleap-AI
⭐ 3,004 Python 👤 Zleap-AI Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2025-11-07
48
gunnarmorling/awesome-opensource-data-engineering

Eine großartige Liste von Open-Source-Data-Engineering-Projekten

gunnarmorling
⭐ 2,946 👤 gunnarmorling User 🕐 Aktualisiert 2024-10-04 📅 Erstellt 2020-02-11
49
danielbeach/data-engineering-practice

Daten-Engineering-Übungsaufgaben

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 Aktualisiert 2025-01-08 📅 Erstellt 2022-02-17
50
meltano/meltano

Meltano: die deklarative, Code-first Datenintegrations-Engine, die Ihre wildesten Ideen für daten- und KI-gestützte Produkte beflügelt. Verabschieden Sie sich vom Schreiben, Pflegen und Skalieren Ihrer eigenen API-Integrationen.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-06-21

Häufig gestellte Fragen

1

Welches ist das beliebteste #data-engineering-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#data-engineering-Projekt auf GitHub ist apache/superset mit 75,603 Sternen. Apache Superset ist eine Plattform für Datenvisualisierung und Datenerkundung

2

Welche Programmiersprachen werden in #data-engineering-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #data-engineering-Projekten auf GitHub sind Python, Go, Rust, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #data-engineering-Repositories berechnet?

Wir verfolgen 152 aktive Open-Source-Repositories, die mit #data-engineering getaggt sind (500+ Sterne), mit insgesamt 727,632 Sternen und durchschnittlich 4,787 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.