#data-pipeline Repositories
Entdecke 67 aktive Open-Source-GitHub-Repositories, die mit #data-pipeline getaggt sind und insgesamt 219,024 Sterne gesammelt haben (durchschnittlich 3,269 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist xai-org/x-algorithm mit 34,361 Sternen.
Insgesamt 67 Repositories
Open-Source-Datenbewegung für ELT-Pipelines und KI-Agenten — von APIs, Datenbanken und Dateien zu Data Warehouses, Data Lakes und KI-Anwendungen. Sowohl self-hosted als auch Cloud.
Data Intelligence mit Distributed SQL für Sharding, Skalierbarkeit und Sicherheit in allen Datenbanken stärken.
Change Data Capture für eine Vielzahl von Datenbanken. Bitte melden Sie Probleme unter https://github.com/debezium/dbz/issues.
Das RedPajama-Data-Repository enthält Code zur Vorbereitung großer Datensätze für das Training großer Sprachmodelle.
Selbst hostbarer Workflow-Orchestrator für Teams, deren Hauptaufgabe nicht die Orchestrierung ist. Deklaratives YAML für Ihre Skripte, SSH-Befehle, Container usw.; halten Sie Workflows von der Geschäftslogik getrennt. Eine einzelne Binärdatei, keine Datenbank, läuft mit begrenzten Hardwareressourcen. Eine Alternative zu Airflow, Cron und Job-Schedulern.
Datenschutz- und sicherheitsorientierte Segment-Alternative in Golang und React
ingestr ist ein CLI-Tool, um Daten mit einem einzigen Befehl nahtlos zwischen beliebigen Datenbanken zu kopieren.
Eine Liste nützlicher Ressourcen, um Data Engineering von Grund auf zu lernen
Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.
Memphis.dev ist eine hoch skalierbare und mühelose Datenstreaming-Plattform
Eine Open-Source-Datenprotokollierungsbibliothek für maschinelle Lernmodelle und Datenpipelines. 📚 Bietet Einblicke in Datenqualität und Modellleistung im Laufe der Zeit. 🛡️ Unterstützt datenschutzfreundliche Datenerfassung, um Sicherheit und Robustheit zu gewährleisten. 📈
Mitglieder des Kongresses der Vereinigten Staaten, 1789-heute, in YAML/JSON/CSV, sowie Ausschüsse, Präsidenten und Vizepräsidenten.
Die dbt-native Data-Observability-Lösung für Data & Analytics Engineers. Überwachen Sie Ihre Datenpipelines in wenigen Minuten. Verfügbar als Self-Hosted oder Cloud-Service mit Premium-Funktionen.
Meridian durchschneidet das Nachrichtenrauschen, indem es Hunderte von Quellen durchforstet, Geschichten mit KI analysiert und prägnante, personalisierte tägliche Briefings liefert.
Polymarket-Daten-Retriever, der Polymarket-Daten einschließlich Märkte, Auftragsereignisse und Trades abruft, verarbeitet und strukturiert.
OLake Go: Open-Source-Replikation aus Datenbanken, Kafka und S3 nach Apache Iceberg und Parquet. Quellen: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Früher datazip-inc/olake. Die Tabellenwartung befindet sich in datazip-inc/olake-fusion.
Zusammengesetztes Multi-AI-Intelligenz-Agenten-Aktien-Team-Analyse-Überwachungssystem, basierend auf mehreren AI-Agenten, simuliert den Analyseprozess eines Wertpapieranalysten-Teams, bietet umfassende Aktieninvestitionsanalysen und Entscheidungsvorschläge. Neu hinzugefügt: Hot-Money-Drachen-Tiger-Liste-Tracking-Analyse, Sektor-Warnungs-Rotation-Analyse, unterstützt Batch-Multi-Thread-Analyse, Echtzeit-Überwachung kritischer Preislevel, Versand von Alarmnachrichten, reservierte miniqmt-Schnittstelle, unterstützt quantitativen Handel, erreicht wirklich 'AI handelt Aktien für dich', geeignet für Mainland-China A-Aktien. Für die Test-Website unten Deepseek-Temporary-Key eingeben, nach Test löschen, um Leakage-Risiko zu vermeiden. Hinweis: Übermäßiger Test-Cloud-Zugriff kann Datenquelle ablehnen. Für Nutzung lokal deployen.
secwiki und xuanwu.github.io/sec.today crawlen, Sicherheitsinformationsseiten, Sicherheits-Trends analysieren, Sicherheitsarbeiter-Konten (twitter, weixin, github usw.) extrahieren
Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Auf DuckDB aufgebaut: visuelle No-Code-/Low-Code-Pipelines oder SQL, 446 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Datenherkunft und MCP für KI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.
Quellcode, der das Buch begleitet: Data Science auf der Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017
Kspider ist eine Crawler-Plattform, die es ermöglicht, Crawler-Workflows grafisch zu definieren, wodurch Crawler-Workflows ohne Code implementiert werden können. Kspider beschränkt sich nicht nur auf Web-Crawling, sondern kann auch für die WEB-Automatisierung getestet werden. Weitere Funktionen warten darauf, von Ihnen entdeckt zu werden.
Erstellen Sie in SQL Server ein Data Warehouse aus zwei Quellsystemen, einem CRM und einem ERP, über die Bronze-, Silber- und Goldschicht. Dateien und Skripte des kostenlosen vollständigen Projekts.
zerocode-tdd ist ein kostenloses, von der Community entwickeltes Open-Source-Framework für ergebnisorientierte automatisierte Tests von Datenpipelines, ETL, REST-APIs, Kafka (Datenströmen), Datenbanken und Lastszenarien – alles in einfachem JSON oder YAML definiert, ganz ohne Programmieraufwand.
🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen Ihre Daten leben, mit den Systemen, in denen Sie sie _haben_ möchten, indem Sie Ihre Datenflüsse mit Estuary verwalten. 🌊
qData ist eine leichtgewichtige, funktionsreiche und KI-native Open-Source-Datenplattform. Sie deckt Datenintegration, -entwicklung, -modellierung und -governance sowie Datenbestände und API-Dienste ab und unterstützt selbst gehostete Bereitstellung, flexible Skalierung und kommerzielle Nutzung.
SeaTunnel ist eine verteilte, hochleistungsfähige Datenintegrationsplattform für die Synchronisation und Transformation riesiger Datenmengen (Offline & Echtzeit).
Pythonisches Werkzeug zur Orchestrierung von Machine-Learning-/High-Performance-/Quantencomputing-Workflows in heterogenen Computerumgebungen.
Census Reporter ist ein vom Knight News Challenge finanziertes Projekt, das es Journalisten erleichtert, Geschichten mit Informationen aus dem U.S. Census Bureau zu schreiben.
Praktisches Data Engineering: Ein praxisorientierter Leitfaden für Immobilienprojekte
Die Weibo-Trendliste zeichnet beliebte Suchanfragen auf Weibo seit dem 24. November 2020 auf. Daten werden stündlich erfasst und täglich archiviert.
Open-Data zu Adressdaten auf nationaler Ebene (277.191 Einträge) auf Gemeinde- und Stadtteilebene
Einfache tägliche CLI-Operationen über Python anstelle von regulären Bash-Programmen. 🇺🇦 #supporting
Retrospektive Analyse von Hacker News-Diskussionen von vor einem Jahrzehnt mithilfe von LLMs
Werkzeug zur Nutzung von Funksignalen, um festzustellen, ob Sie verfolgt werden.
Häufig gestellte Fragen
Welches ist das beliebteste #data-pipeline-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#data-pipeline-Projekt auf GitHub ist xai-org/x-algorithm mit 34,361 Sternen. Algorithmus, der den For You-Feed auf X antreibt
Welche Programmiersprachen werden in #data-pipeline-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #data-pipeline-Projekten auf GitHub sind Python, Java, Go, Rust die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #data-pipeline-Repositories berechnet?
Wir verfolgen 67 aktive Open-Source-Repositories, die mit #data-pipeline getaggt sind (500+ Sterne), mit insgesamt 219,024 Sternen und durchschnittlich 3,269 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.