Git Stars Git Stars

#data-engineering Repositories

152
Gesamtzahl der Repositories
727,632
Gesamtanzahl der Sterne
4,787
Durchschnittliche Sterne/Repo

Insgesamt 152 Repositories

51
apache/hamilton

Apache Hamilton hilft Datenwissenschaftlern und Ingenieuren, testbare, modulare, selbstdokumentierende Datenflüsse zu definieren, die Abstammung/Rückverfolgung und Metadaten kodieren. Läuft und skaliert überall dort, wo Python läuft.

apache
⭐ 2,631 Jupyter Notebook 👤 apache Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-02-23
52
sodadata/soda-core

Data Contracts Engine für den modernen Daten-Stack. https://www.soda.io

sodadata
⭐ 2,463 Python 👤 sodadata Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-12-14
53
metarank/metarank

Ein Low-Code-Machine-Learning-Service für personalisierte Rankings für Artikel, Angebote, Suchergebnisse und Empfehlungen, der die Benutzerbindung stärkt. Eine benutzerfreundliche Learn-to-Rank-Engine

metarank
⭐ 2,461 Scala 👤 metarank Organization 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2020-08-19
54
running-elephant/datart

Datart ist eine offene Datenvisualsplattform der nächsten Generation

running-elephant
⭐ 2,288 TypeScript 👤 running-elephant Organization 🕐 Aktualisiert 2025-02-10 📅 Erstellt 2021-10-15
55
bytewax/bytewax

Python Stream-Verarbeitung

bytewax
⭐ 2,074 Python 👤 bytewax Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2022-02-04
56
data-engineering-community/data-engineering-wiki

Der beste Ort, um Data Engineering zu lernen. Aufbau und Pflege durch die Data Engineering Community.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 Aktualisiert 2026-09-15 📅 Erstellt 2021-05-04
57
getnao/nao

👾 nao ist die führende Open-Source-Lösung für agentische BI. (1) Erstelle Kontext mit der nao-core-CLI; (2) stelle die nao-Chat-Oberfläche für alle bereit.

getnao
⭐ 2,034 TypeScript 👤 getnao Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-12-30
58
Datus-ai/Datus-agent

Die Zukunft des Data Engineering – ein CLI-SQL-Client für den modernen Data-Stack, der AI-native Context Engineering für Daten ermöglicht.

Datus-ai
⭐ 1,932 Python 👤 Datus-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-07-04
59
feathr-ai/feathr

Feathr – Eine skalierbare, einheitliche Daten- und KI-Engineering-Plattform für Unternehmen

feathr-ai
⭐ 1,916 Scala 👤 feathr-ai Organization 🕐 Aktualisiert 2024-04-04 📅 Erstellt 2022-02-18
60
dbt-labs/dbt-utils

Hilfsfunktionen für dbt-Projekte.

dbt-labs
⭐ 1,837 Makefile 👤 dbt-labs Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2017-07-16
61
kiwenlau/hadoop-cluster-docker

Führen Sie Hadoop-Cluster in Docker-Containern aus

kiwenlau
⭐ 1,827 Shell 👤 kiwenlau User 🕐 Aktualisiert 2024-07-01 📅 Erstellt 2015-05-21
62
OBenner/data-engineering-interview-questions

Mehr als 2000+ Fragen zum Vorstellungsgespräch für Dateningenieure.

OBenner
⭐ 1,815 Python 👤 OBenner User 🕐 Aktualisiert 2026-01-13 📅 Erstellt 2021-08-08
63
Hiflylabs/awesome-dbt

Eine kuratierte Liste von großartigen dbt-Ressourcen

Hiflylabs
⭐ 1,754 👤 Hiflylabs Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2021-10-09
64
benthecoder/yt-channels-DS-AI-ML-CS

Eine umfassende Liste von über 180 YouTube-Kanälen für Data Science, Data Engineering, Machine Learning, Deep Learning, Informatik, Programmierung, Software Engineering usw.

benthecoder
⭐ 1,732 👤 benthecoder User 🕐 Aktualisiert 2026-07-19 📅 Erstellt 2021-06-14
65
DataWithBaraa/sql-ultimate-course

Die Materialien zum kostenlosen 30-stündigen SQL-Kurs: die Datenbanken für SQL Server, MySQL und PostgreSQL, alle Abfragen aus den 41 Kapiteln sowie die Folien.

DataWithBaraa
⭐ 1,711 TSQL 👤 DataWithBaraa User 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2025-03-18
66
mlrun/mlrun

MLRun ist eine Open-Source-MLOps-Plattform zum schnellen Aufbau und Management kontinuierlicher ML-Anwendungen über ihren Lebenszyklus hinweg. MLRun integriert sich in Ihre Entwicklungsumgebung und CI/CD-Pipeline und automatisiert die Bereitstellung von Produktionsdaten, ML-Pipelines und Online-Anwendungen.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-09-01
67
Multiwoven/multiwoven

🔥🔥🔥 Open Source Reverse ETL - Alternative zu Hightouch und Census.

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-10-20
68
Kaelio/ktx

ktx ist eine ausführbare Kontextschicht für Daten- und Analyse-Agenten 🐙 Ermöglichen Sie Claude Code, Codex oder anderen KI-Agenten, analytische Datenbanken präzise und mit dem vollständigen Kontext Ihres Unternehmens abzufragen

Kaelio
⭐ 1,633 TypeScript 👤 Kaelio Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-05-10
69
kantord/just-dashboard

:bar_chart: :clipboard: Dashboards mit YAML- oder JSON-Dateien

kantord
⭐ 1,587 TypeScript 👤 kantord User 🕐 Aktualisiert 2026-02-21 📅 Erstellt 2018-01-18
70
quixio/quix-streams

Python Streaming DataFrames für Kafka

quixio
⭐ 1,582 Python 👤 quixio Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-11-17
71
JeffSackmann/tennis_atp

ATP-Tennis-Ranglisten, Ergebnisse und Statistiken

JeffSackmann
⭐ 1,577 👤 JeffSackmann User 🕐 Aktualisiert 2026-06-08 📅 Erstellt 2015-03-13
72
chenditc/investment_data

Skripte und Dokumentation für https://www.dolthub.com/repositories/chenditc/investment_data

chenditc
⭐ 1,571 Python 👤 chenditc User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-07-19
73
slothflowlabs/duckle

Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Auf DuckDB aufgebaut: visuelle No-Code-/Low-Code-Pipelines oder SQL, 446 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Datenherkunft und MCP für KI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-05-21
74
duneanalytics/spellbook

SQL-Views für Dune

duneanalytics
⭐ 1,529 Python 👤 duneanalytics Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-01-31
75
pyper-dev/pyper

Konkurrierendes Python einfach gemacht

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Aktualisiert 2025-02-04 📅 Erstellt 2024-05-22
76
pyjanitor-devs/pyjanitor

Saubere APIs für die Datenbereinigung. Python-Implementierung des R-Pakets Janitor

pyjanitor-devs
⭐ 1,500 Python 👤 pyjanitor-devs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-03-04
77
ashishps1/awesome-engineering-articles

Eine kuratierte Sammlung von über 300 Engineering-Blogartikeln von führenden Tech-Unternehmen. Lernen Sie, wie die besten Engineering-Teams reale Probleme im großen Maßstab lösen.

ashishps1
⭐ 1,491 👤 ashishps1 User 🕐 Aktualisiert 2026-03-01 📅 Erstellt 2026-02-15
78
lvgalvao/data-engineering-roadmap

Berufsausbildung in Datenengineering und KI

lvgalvao
⭐ 1,451 Python 👤 lvgalvao User 🕐 Aktualisiert 2026-05-12 📅 Erstellt 2024-01-16
79
opendatadiscovery/odd-platform

Die erste Open-Source-Plattform für Datenentdeckung und Observability. Wir erleichtern den Data Practitioners das Leben, damit Sie sich auf Ihr Geschäft konzentrieren können.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2021-07-07
80
GoogleCloudPlatform/data-science-on-gcp

Quellcode, der das Buch begleitet: Data Science auf der Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 Aktualisiert 2026-02-20 📅 Erstellt 2017-02-10
81
zapret-info/z-i

Register der in der Russischen Föderation gefilterten Internet-Adressen

zapret-info
⭐ 1,388 👤 zapret-info User 🕐 Aktualisiert 2025-10-01 📅 Erstellt 2012-11-19
82
quiltdata/quilt

Quilt ist eine wissenschaftliche Datenmanagement-Plattform auf AWS, die Teams und KI dabei unterstützt, Daten zu finden, zu vertrauen und wiederzuverwenden – durch tief versionierte, kontextreiche Datenpakete.

quiltdata
⭐ 1,373 TypeScript 👤 quiltdata Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2017-02-10
83
spark-examples/pyspark-examples

PySpark RDD, DataFrame und Dataset-Beispiele in Python

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 Aktualisiert 2025-12-07 📅 Erstellt 2019-11-26
84
gtoonstra/etl-with-airflow

ETL-Best Practices mit Airflow, mit Beispielen

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Aktualisiert 2024-09-25 📅 Erstellt 2016-10-16
85
Sniper970119/dianping_spider

Dianping-Crawler (ganze Website durchsuchbar, löst dynamische Schrifterverschlüsselung, kein OCR). Kontinuierliche Aktualisierung

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2021-01-22
86
Data-Learn/data-engineering

Erste Schritte mit Data Engineering

Data-Learn
⭐ 1,323 Python 👤 Data-Learn Organization 🕐 Aktualisiert 2025-04-20 📅 Erstellt 2020-05-14
87
bitol-io/open-data-contract-standard

Heimat des Open Data Contract Standard (ODCS).

bitol-io
⭐ 1,238 Shell 👤 bitol-io Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-06-27
88
abhishek-ch/around-dataengineering

Ein Knowledge Hub für Datenengineering & maschinelles Lernen

abhishek-ch
⭐ 1,140 Python 👤 abhishek-ch User 🕐 Aktualisiert 2024-02-02 📅 Erstellt 2020-09-18
89
daochenzha/data-centric-AI

Eine kuratierte, aber unvollständige Liste datenzentrierter KI-Ressourcen.

daochenzha
⭐ 1,138 👤 daochenzha User 🕐 Aktualisiert 2024-06-26 📅 Erstellt 2023-03-07
90
datacontract/datacontract-cli

Open-Source-Tests für Datenverträge für Snowflake, Databricks, BigQuery, Kafka und 15 weitere Plattformen. Basiert auf dem Open Data Contract Standard (ODCS). MIT-Lizenz.

datacontract
⭐ 1,114 JavaScript 👤 datacontract Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-07-24
91
youngwookim/awesome-hadoop

Eine kuratierte Liste von erstaunlich großartigen Hadoop- und Hadoop-Ökosystem-Ressourcen

youngwookim
⭐ 1,113 👤 youngwookim User 🕐 Aktualisiert 2024-05-07 📅 Erstellt 2014-07-08
92
DataWithBaraa/sql-data-warehouse-project

Erstellen Sie in SQL Server ein Data Warehouse aus zwei Quellsystemen, einem CRM und einem ERP, über die Bronze-, Silber- und Goldschicht. Dateien und Skripte des kostenlosen vollständigen Projekts.

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2024-12-30
93
JohnSnowLabs/spark-nlp-workshop

Öffentliche ausführbare Beispiele zur Nutzung von John Snow Labs' NLP für Apache Spark.

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2018-08-20
94
mattm/sql-style-guide

Ein subjektiver Leitfaden zum Schreiben von sauberem, wartungsfreundlichem SQL.

mattm
⭐ 1,088 👤 mattm User 🕐 Aktualisiert 2025-01-14 📅 Erstellt 2019-03-27
95
nijikokun/generate-schema

🧞 Konvertieren Sie JSON-Objekte in MySQL, JSON-Schema, Mongoose, Google BigQuery, Swagger und mehr.

nijikokun
⭐ 1,067 JavaScript 👤 nijikokun User 🕐 Aktualisiert 2024-01-30 📅 Erstellt 2015-02-16
96
opendatadiscovery/awesome-data-catalogs

📙 Fantastische Datenkataloge und Beobachtbarkeitsplattformen.

opendatadiscovery
⭐ 1,059 👤 opendatadiscovery Organization 🕐 Aktualisiert 2025-08-14 📅 Erstellt 2021-07-14
97
DataTalksClub/stock-markets-analytics-zoomcamp

Kursmaterialien für Analytics im Aktienmarkt-Zoomcamp

DataTalksClub
⭐ 1,052 Jupyter Notebook 👤 DataTalksClub Organization 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2024-02-14
99
dataform-co/dataform

Dataform ist ein Framework zur Verwaltung von SQL-basierten Datenoperationen in BigQuery.

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-09-03
100
estuary/flow

🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen Ihre Daten leben, mit den Systemen, in denen Sie sie _haben_ möchten, indem Sie Ihre Datenflüsse mit Estuary verwalten. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-02-13