#data-pipelines Repositories
Entdecke 50 aktive Open-Source-GitHub-Repositories, die mit #data-pipelines getaggt sind und insgesamt 323,108 Sterne gesammelt haben (durchschnittlich 6,462 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist twitter/the-algorithm mit 73,884 Sternen.
Insgesamt 50 Repositories
Python ETL-Framework für Stream-Verarbeitung, Echtzeitanalysen, LLM-Pipelines und RAG.
Apache Airflow - Eine Plattform zum programmgesteuerten Erstellen, Planen und Überwachen von Workflows
Eine Orchestrierungsplattform für die Entwicklung, Produktion und Beobachtung von Datenassets.
Konvertieren Sie Dokumente mühelos in strukturierte Daten. Unstructured ist eine Open-Source-ETL-Lösung zur Umwandlung komplexer Dokumente in saubere, strukturierte Formate für Sprachmodelle. Besuchen Sie unsere Website, um mehr über unser Enterprise-Grade-Plattformprodukt für Produktions-Workflows, Partitionierung, Anreicherungen, Chunking und Embedding zu erfahren.
Apache DolphinScheduler ist die moderne Daten-Orchestrierungsplattform. Agil zum Erstellen hochperformanter Workflows mit Low-Code.
Kedro ist eine Toolbox für produktionsreife Data Science. Sie nutzt Best Practices der Software-Engineering, um Ihnen bei der Erstellung von reproduzierbaren, wartbaren und modularen Data-Engineering- und Data-Science-Pipelines zu helfen.
🧙 Erstellen, ausführen und verwalten Sie Datenpipelines für die Datenintegration und -transformation.
[SIGMOD'27] Einfache Datenaufbereitung mit den neuesten LLM-basierten Operatoren und Pipelines.
🦀 Event-Stream-Verarbeitung für Entwickler, um Daten in Bewegung zu sammeln und zu transformieren, um reaktionsschnelle datenintensive Anwendungen zu ermöglichen.
Überprüfe dein Ranking auf GitHub! Vergiss nicht, dieses Repository zu ⭐.
Preswald ist ein WASM-Packager für interaktive Python-basierte Datenanwendungen: Bündeln Sie vollständige komplexe Daten-Workflows, insbesondere Visualisierungen, in einzelne Dateien, die vollständig im Browser ausgeführt werden können, unter Verwendung von Pyodide, DuckDB, Pandas und Plotly, Matplotlib usw. Erstellen Sie Dashboards, Berichte und Notebooks, die offline ausgeführt werden, schnell laden und wie ein Dokument geteilt werden können.
Meltano: die deklarative, Code-first Datenintegrations-Engine, die Ihre wildesten Ideen für daten- und KI-gestützte Produkte beflügelt. Verabschieden Sie sich vom Schreiben, Pflegen und Skalieren Ihrer eigenen API-Integrationen.
Die dbt-native Data-Observability-Lösung für Data & Analytics Engineers. Überwachen Sie Ihre Datenpipelines in wenigen Minuten. Verfügbar als Self-Hosted oder Cloud-Service mit Premium-Funktionen.
Der beste Ort, um Data Engineering zu lernen. Aufbau und Pflege durch die Data Engineering Community.
Erstellen Sie Datenpipelines mit SQL und Python, nehmen Sie Daten aus verschiedenen Quellen auf, fügen Sie Qualitätsprüfungen hinzu und erstellen Sie End-to-End-Abläufe.
Schnelle und effiziente Extraktion unstrukturierter Daten. Geschrieben in Rust mit Bindings für viele Sprachen.
Eine Plattform, die es Entwicklern einfach macht, Echtzeit-, kosteneffiziente und betriebsorientierte Anwendungen zu erstellen
Die erste Open-Source-Plattform für Datenentdeckung und Observability. Wir erleichtern den Data Practitioners das Leben, damit Sie sich auf Ihr Geschäft konzentrieren können.
Ein PyTorch-Repository für Datenladen und Dienstprogramme, das von den PyTorch-Domain-Bibliotheken gemeinsam genutzt werden soll.
Dataform ist ein Framework zur Verwaltung von SQL-basierten Datenoperationen in BigQuery.
Datenbankreplikationsplattform, die Change Data Capture nutzt. Streamen Sie Produktionsdaten in Echtzeit von Datenbanken in Ihr Data Warehouse (Snowflake, BigQuery, Redshift, Databricks).
Anleitungen und Dokumentationen, um Sie beim Einstieg und der Inbetriebnahme von Apache Airflow zu unterstützen.
Tuplex ist ein paralleles Big-Data-Verarbeitungs-Framework, das Data-Science-Pipelines, die in Python geschrieben sind, mit der Geschwindigkeit von kompiliertem Code ausführt. Tuplex verfügt über ähnliche Python-APIs wie Apache Spark oder Dask, generiert jedoch anstatt den Python-Interpreter aufzurufen, optimierten LLVM-Bytecode für die gegebene Pipeline und den Eingabedatensatz.
Optimus ist ein einfach zu bedienender, zuverlässiger und performanter Workflow-Orchestrator für Datentransformation, Datenmodellierung, Pipelines und Datenqualitätsmanagement.
Golang-Framework für Streaming-ETL, Observability-Datapipelines und Event-Processing-Apps
Dieses dbt-Paket erfasst Metadaten, Artefakte und Testergebnisse, damit Sie Anomalien erkennen, die Datenqualität überwachen und Metadatentabellen erstellen können. Es treibt Elementary OSS an und versorgt die breitere Kontextschicht, die vom vollständigen Data & AI Control Plane von Elementary Cloud verwendet wird.
Apache Spark 3 - Spark-Programmierung in Python für Anfänger
Häufig gestellte Fragen
Welches ist das beliebteste #data-pipelines-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#data-pipelines-Projekt auf GitHub ist twitter/the-algorithm mit 73,884 Sternen. Quellcode für den X-Empfehlungsalgorithmus
Welche Programmiersprachen werden in #data-pipelines-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #data-pipelines-Projekten auf GitHub sind Python, Go, Java, Rust die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #data-pipelines-Repositories berechnet?
Wir verfolgen 50 aktive Open-Source-Repositories, die mit #data-pipelines getaggt sind (500+ Sterne), mit insgesamt 323,108 Sternen und durchschnittlich 6,462 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.