#data-engineering Repository
152 repository in totale
Una raccolta dei repository Github piรน importanti per professionisti di ML, AI e Data Science
La piattaforma centrale di Project Egeria offre supporto per Open Metadata e Governance. Include un sistema di tipi aperto, un grafo della conoscenza distribuito, API REST, governance intelligente e contenuti predefiniti.
Un altro repository con concetti di base, sfide tecniche e risorse sull'ingegneria dei dati in spagnolo ๐งโจ
Framework guidato dalla comunitร , semplice ma potente per un calcolo distribuito rapido ed economicoper i dati.
FlyFish รจ una piattaforma di codifica per la visualizzazione dei dati. Possiamo creare rapidamente un modello di dati in modo semplice e generare rapidamente una serie di soluzioni di visualizzazione dei dati trascinando.
Il framework di elaborazione dati piรน avanzato che consente di creare pipeline di elaborazione dati scalabili e spostare dati tra varie origini e destinazioni dati.
Neum AI รจ un framework di prim'ordine per gestire la creazione e la sincronizzazione di embedding vettoriali su larga scala.
Framework di gestione dei dati per Python che fornisce funzionalitร per descrivere, estrarre, convalidare e trasformare dati tabellari
Materiali Supplementari per il corso Udemy "The Complete dbt (Data Build Tool) Bootcamp"
Data Engineering pratico: una guida pratica per progetti immobiliari
Harness di ingegneria dati agentico open-source per dbt, SQL e data warehouse cloud. Oltre 100 strumenti, 10 warehouse, alimentato da IA.
Framework Python per la creazione di pipeline di dati efficienti. Promuove modularitร e collaborazione, consentendo la creazione di pipeline complesse da componenti semplici e riutilizzabili.
La ChainKnowledgeGraph, o grafo della conoscenza della catena industriale, include entitร di 3 tipi: societร quotate in borsa A, settori e prodotti, comprendenti 6 categorie principali: relazioni settoriali delle societร quotate, relazioni settoriali gerarchiche, relazioni di materie prime a monte dei prodotti, relazioni di prodotti a valle, prodotti principali delle societร e sottocategorie di prodotti. Societร quotate: 4.654, settori: 511, prodotti: 95.559, materie prime a monte: 56.824, settori gerarchici: 480, prodotti a valle: 390, sottocategorie di prodotti: 52.937, settori di appartenenza: 3.946.
Conosci meglio i tuoi dati! Datavines รจ la piattaforma di osservabilitร dei dati di nuova generazione, supporta la gestione dei metadati e la qualitร dei dati.
Le risorse del corso di preparazione per l'esame di certificazione Databricks Data Engineer Associate
Raccolta di esempi reali di alto profilo di progetti di machine learning falliti
Questo repository aiuta a insegnare alle persone come definire e creare correttamente tabelle cumulative!
Questo repository contiene i notebook e le presentazioni che utilizziamo per i nostri Databricks Tech Talks "
Le librerie AWS Glue sono aggiunte e miglioramenti a Spark per le operazioni ETL.
VectorFlow รจ una pipeline ad alto volume per l'incorporamento di vettori che acquisisce dati grezzi, li trasforma in vettori e li scrive in un database vettoriale a tua scelta.
Il motore di flusso dati รจ un motore di base data-driven per l'integrazione dei dati, la sincronizzazione dei dati, lo scambio di dati, la condivisione dei dati, la configurazione delle attivitร e la pianificazione delle attivitร . Il motore di flusso dati utilizza architetture come la separazione di controllo ed esecuzione, flussi multi-livello e una libreria di plugin per affrontare i problemi reali dei dati di grandi volumi di dati, segnalazioni dati frequenti, raccolta dati frequente e compatibilitร con dati eterogenei.
One stop shop per tutte le tue esigenze di programmazione GIS
Analisi dei dati e BI basate sul browser con DuckDB-WASM. La privacy prima di tutto: i tuoi dati rimangono in locale; non รจ necessario alcun server.
Analisi dei brevetti utilizzando i Google Patents Public Datasets su BigQuery
Conduit trasmette dati tra data store. Sostituto di Kafka Connect. Nessuna JVM richiesta.
Synmetrix โ livello semantico open source pronto per la produzione su Cube
Simulazione Monte Carlo della stagione NBA, utilizzando dbt, duckdb ed evidence.dev
Un toolkit Python per estrarre e trasformare i dati della blockchain Bitcoin in formati strutturati.
Questo progetto fornisce esempi di Apache Spark SQL, RDD, DataFrame e Dataset in linguaggio Scala.
Lista curata di strumenti open source utilizzati nelle piattaforme di analisi e nell'ecosistema di data engineering
Codice sorgente di accompagnamento: BigQuery: The Definitive Guide di Lakshmanan & Tigani, da pubblicare da O'Reilly Media
๐ง Mappa mentale di ๐บ๏ธ architettura e ingegneria del software
Wiki che contiene frammenti di informazioni e conoscenze sulla macchina virtuale BEAM (che esegue Erlang/OTP e altri linguaggi basati su BEAM).