#data-engineering Repositories
Entdecke 152 aktive Open-Source-GitHub-Repositories, die mit #data-engineering getaggt sind und insgesamt 727,632 Sterne gesammelt haben (durchschnittlich 4,787 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist apache/superset mit 75,603 Sternen.
Insgesamt 152 Repositories
Lernen Sie, wie man produktionsreife ML-Anwendungen entwickelt, bereitstellt und iteriert.
Apache Airflow - Eine Plattform zum programmgesteuerten Erstellen, Planen und Überwachen von Workflows
Data Engineering Zoomcamp ist ein kostenloser 9-wöchiger Kurs über den Aufbau von produktionsreifen Datenpipelines. Nimm hier am Kurs teil 👇🏼
Orchestrieren Sie alles, überall. Die Open-Source-Steuerungsebene für Workflows rund um Daten, Infrastruktur, Geschäftsprozesse und KI-Agenten. Deklaratives YAML, ereignisgesteuert, für jede Sprache geeignet, mit Git versioniert und auf Millionen von Ausführungen skalierbar.
📚 Artikel & Tech-Blogs von Unternehmen, die ihre Arbeit zu Data Science & Machine Learning in der Produktion teilen.
Prefect ist ein Workflow-Orchestrierungs-Framework zum Erstellen robuster Datenpipelines in Python.
Open-Source-Datenbewegung für ELT-Pipelines und KI-Agenten — von APIs, Datenbanken und Dateien zu Data Warehouses, Data Lakes und KI-Anwendungen. Sowohl self-hosted als auch Cloud.
Verwandelt Daten und KI-Algorithmen im Handumdrehen in produktionsreife Webanwendungen.
Eine Orchestrierungsplattform für die Entwicklung, Produktion und Beobachtung von Datenassets.
Inkrementeller Engine für Langhorizont-Agenten 🌟 Stern geben, wenn es dir gefällt!
🐚 Python-betriebene Shell. Voll ausgestatteter, plattformunabhängiger und KI-freundlicher.
Event-Streaming-Plattform für agentisches KI. Kontinuierlich Events in Echtzeit in großem Maßstab aufnehmen, transformieren und bereitstellen.
🧙 Erstellen, ausführen und verwalten Sie Datenpipelines für die Datenintegration und -transformation.
LLM-gestützte Extraktion unstrukturierter Daten — Für API-Deployments und ETL-Pipeline-Workflows entwickelt
Business Intelligence als Code: Erstellen Sie schnelle, interaktive Datenvisualisierungen in SQL und Markdown
Datenpipelines für Cloud-Konfigurations- und Sicherheitsdaten. Erstellen Sie Lösungen für Cloud-Asset-Inventarisierung, CSPM, FinOps und Schwachstellenmanagement. Extraktion aus AWS, Azure, GCP und über 70 Cloud- und SaaS-Quellen.
Das Data Load Tool (dlt) ist eine Open-Source-Python-Bibliothek, die das Laden von Daten erleichtert 🛠️
DataX-Integrationsvisualisierungsseite: Wählen Sie eine Datenquelle aus, um Daten-Synchronisierungsaufgaben mit einem Klick zu generieren. Unterstützt Datenquellen wie RDBMS, Hive, HBase, ClickHouse, MongoDB usw. Batch-Erstellung von RDBMS-Daten-Synchronisierungsaufgaben, Integration eines Open-Source-Scheduling-Systems, Unterstützung für verteilte Verarbeitung, inkrementelle Synchronisation von Daten, Echtzeit-Überwachung von Ausführungslogs, Überwachung von Executor-Ressourcen, KILL laufender Prozesse, Verschlüsselung von Datenquelleninformationen usw.
Hochleistungs-Daten-Engine für KI und multimodale Workloads. Verarbeiten Sie Bilder, Audio, Video und strukturierte Daten in beliebigem Umfang.
Zusammenfassungen und Ressourcen für das Buch "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
DeepAnalyze ist das erste agentische LLM für autonome Datenwissenschaft. 🎈 Ihr KI-Datenanalyst, der automatisch große Datenmengen analysiert und professionelle Analyseberichte mit einem Klick erstellt!
Datenschutz- und sicherheitsorientierte Segment-Alternative in Golang und React
SQL Translator ist ein Werkzeug zur Umwandlung natürlicher Abfragen in SQL-Code mithilfe künstlicher Intelligenz. Dieses Projekt ist 100% kostenlos und Open Source.
pandas auf AWS - Einfache Integration mit Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer und S3 (Parquet, CSV, JSON und EXCEL).
Eine Liste nützlicher Ressourcen, um Data Engineering von Grund auf zu lernen
Eine Liste vieler Interviewfragen & realer Herausforderungen in der Technik! (https://tech-vault-web.vercel.app/)
Drop-in-Ersatz für Apache Spark, geschrieben in Rust, der Batch-Verarbeitung, Stream-Verarbeitung und rechenintensive KI-Workloads vereint.
Memphis.dev ist eine hoch skalierbare und mühelose Datenstreaming-Plattform
Erfahren Sie, wie Sie produktionsreife ML-Anwendungen entwerfen, entwickeln, bereitstellen und iterieren.
Apache DevLake ist eine Open-Source-Plattform für Entwicklerdaten, um fragmentierte Daten aus DevOps-Tools zu erfassen, zu analysieren und zu visualisieren und Einblicke für ingenieurtechnische Exzellenz, Entwicklererfahrung und Community-Wachstum zu gewinnen.
Lernen Sie, Ihren Second Brain KI-Assistenten mit LLMs, Agenten, RAG, Fine-Tuning, LLMOps und KI-Systemtechniken zu erstellen.
Ein neuer SOTA für RAG – eine originelle Retrieval-Architektur und eine Open-Source-Wissensdatenbank für Menschen und Agenten.
Eine großartige Liste von Open-Source-Data-Engineering-Projekten
Meltano: die deklarative, Code-first Datenintegrations-Engine, die Ihre wildesten Ideen für daten- und KI-gestützte Produkte beflügelt. Verabschieden Sie sich vom Schreiben, Pflegen und Skalieren Ihrer eigenen API-Integrationen.
Häufig gestellte Fragen
Welches ist das beliebteste #data-engineering-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#data-engineering-Projekt auf GitHub ist apache/superset mit 75,603 Sternen. Apache Superset ist eine Plattform für Datenvisualisierung und Datenerkundung
Welche Programmiersprachen werden in #data-engineering-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #data-engineering-Projekten auf GitHub sind Python, Go, Rust, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #data-engineering-Repositories berechnet?
Wir verfolgen 152 aktive Open-Source-Repositories, die mit #data-engineering getaggt sind (500+ Sterne), mit insgesamt 727,632 Sternen und durchschnittlich 4,787 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.