#data-engineering Repositories
Insgesamt 152 Repositories
Eine Sammlung der wichtigsten Github-Repos für ML-, KI- und Data-Science-Praktiker
Die Kernplattform von Project Egeria bietet Unterstützung für Open Metadata und Governance. Sie umfasst ein offenes Typsystem, einen verteilten Wissensgraphen, REST-APIs, intelligente Governance und vorgefertigte Inhalte.
Ein weiteres Repository mit Grundkonzepten, technischen Herausforderungen und Ressourcen zur Daten-Ingenieurwesen auf Spanisch 🧙✨
Community-getrieben, einfach und doch leistungsstarkes Framework für schnelles, kostengünstiges verteiltes Compute über Daten.
FlyFish ist eine Coding-Plattform für Datenvisualisierung. Wir können schnell und einfach ein Datenmodell erstellen und durch Ziehen schnell eine Reihe von Datenvisualisierungslösungen generieren.
Das fortschrittlichste Datenverarbeitungs-Framework, das den Aufbau skalierbarer Datenverarbeitungs-Pipelines und den Datentransfer zwischen verschiedenen Datenquellen und -zielen ermöglicht.
Neum AI ist ein erstklassiges Framework, um die Erstellung und Synchronisierung von Vektor-Embeddings in großem Maßstab zu verwalten.
Datenmanagement-Framework für Python, das Funktionalität zur Beschreibung, Extraktion, Validierung und Transformation von tabellarischen Daten bietet
Ergänzende Materialien für den Udemy-Kurs "The Complete dbt (Data Build Tool) Bootcamp"
Praktisches Data Engineering: Ein praxisorientierter Leitfaden für Immobilienprojekte
Open-Source-Agentic-Data-Engineering-Harness für dbt, SQL und Cloud-Data-Warehouses. Über 100 Tools, 10 Data Warehouses, KI-gestützt.
Python-Framework zum Erstellen effizienter Datenpipelines. Es fördert Modularität und Zusammenarbeit und ermöglicht die Erstellung komplexer Pipelines aus einfachen, wiederverwendbaren Komponenten.
Anleitungen und Dokumentationen, um Sie beim Einstieg und der Inbetriebnahme von Apache Airflow zu unterstützen.
ChainKnowledgeGraph, das branchenbezogene Wissensdiagramm, umfasst 3 Arten von Entitäten: börsennotierte A-Aktienunternehmen, Branchen und Produkte, einschließlich Branchenzugehörigkeitsbeziehungen von börsennotierten Unternehmen, übergeordnete Branchenbeziehungen, vorgelagerte Rohstoffbeziehungen von Produkten, nachgelagerte Produktbeziehungen, Hauptprodukte von Unternehmen und Produktunterkategorien, insgesamt 6 Hauptkategorien. Börsennotierte Unternehmen: 4.654, Branchen: 511, Produkte: 95.559, vorgelagerte Rohstoffe: 56.824, übergeordnete Branchen: 480, nachgelagerte Produkte: 390, Produktunterkategorien: 52.937, zugehörige Branchen: 3.946.
Kennen Sie Ihre Daten besser! Datavines ist die Next-gen Data Observability Platform, die Metadatenverwaltung und Datenqualität unterstützt.
Die Ressourcen des Vorbereitungskurses für die Databricks Data Engineer Associate Zertifizierungsprüfung
Zusammenstellung von aufsehenerregenden realen Beispielen für gescheiterte Machine-Learning-Projekte
Dieses Repository hilft dabei, Menschen zu lehren, wie kumulative Tabellen korrekt definiert und erstellt werden!
Dieses Repository enthält die Notebooks und Präsentationen, die wir für unsere Databricks Tech Talks "
AWS Glue-Bibliotheken sind Ergänzungen und Erweiterungen zu Spark für ETL-Operationen.
VectorFlow ist eine High-Volume-Vektoreinbettungspipeline, die Rohdaten aufnimmt, in Vektoren umwandelt und in eine von Ihnen gewählte Vektordatenbank schreibt.
Die Datenstrom-Engine ist eine datengesteuerte Basis-Engine für Datenintegration, Datensynchronisation, Datenaustausch, Datenteilung, Aufgabenerstellung und Aufgabenplanung. Die Datenstrom-Engine verwendet Architekturen wie Trennung von Steuerung und Ausführung, mehrschichtige Ströme und eine Plugin-Bibliothek, um die tatsächlichen Datenprobleme großer Datenmengen, häufiger Datenberichte, häufiger Datenerfassung und heterogener Datenkompatibilität zu bewältigen.
Browserbasierte Datenanalyse und BI mit DuckDB-WASM. Datenschutz an erster Stelle: Ihre Daten bleiben lokal; kein Server erforderlich.
Conduit überträgt Daten zwischen Datenspeichern. Ersatz für Kafka Connect. Kein JVM erforderlich.
Monte-Carlo-Simulation der NBA-Saison unter Verwendung von dbt, duckdb und evidence.dev
Vereinheitlichte MySQL-, Postgres- & FlightSQL-Server, angetrieben von DuckDB.
Ein Python-Toolkit zum Extrahieren und Transformieren von Bitcoin-Blockchain-Daten in strukturierte Formate.
Dieses Projekt bietet Beispiele für Apache Spark SQL, RDD, DataFrame und Dataset in der Scala-Sprache.
Kuratiertes Verzeichnis von Open-Source-Tools, die in Analytics-Plattformen und dem Data-Engineering-Ökosystem verwendet werden
Begleitender Quellcode: BigQuery: The Definitive Guide von Lakshmanan & Tigani, das von O'Reilly Media veröffentlicht wird
Wiki mit Stücken von Informationen und Wissen über die BEAM Virtual Machine (die Erlang/OTP und andere BEAM-basierte Sprachen ausführt).