#data-engineering Repository
Scopri 152 repository GitHub open source attivi contrassegnati con #data-engineering, che raccolgono un totale di 727,632 stelle (con una media di 4,787 stelle per progetto). Il progetto leader di questo argomento è apache/superset, con 75,603 stelle.
152 repository in totale
Impara a sviluppare, distribuire e iterare applicazioni ML di livello produttivo.
Apache Airflow - Una piattaforma per creare, pianificare e monitorare workflow in modo programmatico
Data Engineering Zoomcamp è un corso gratuito di 9 settimane sulla creazione di pipeline di dati pronte per la produzione. Iscriviti al corso qui 👇🏼
Orchestra tutto, ovunque. Il control plane open source per i workflow di dati, infrastruttura, processi aziendali e agenti di IA. Dichiarativo in YAML, basato su eventi, compatibile con qualsiasi linguaggio, versionato con Git e scalabile fino a milioni di esecuzioni.
📚 Paper e blog tecnici di aziende che condividono il loro lavoro su data science e machine learning in produzione.
Prefect è un framework di orchestrazione dei workflow per la costruzione di pipeline di dati resilienti in Python.
Movimento di dati open-source per pipeline ELT e agenti AI — da API, database e file a data warehouse, data lake e applicazioni AI. Sia self-hosted che Cloud.
Trasforma dati e algoritmi AI in applicazioni web pronte per la produzione in pochissimo tempo.
Una piattaforma di orchestrazione per lo sviluppo, la produzione e l'osservazione di asset di dati.
Motore incrementale per agenti a lungo orizzonte 🌟 Metti una stella se ti piace!
Piattaforma di streaming eventi per AI agentica. Ingestion, trasformazione e servizio continuo di flussi di eventi in tempo reale, su larga scala.
🧙 Costruisci, esegui e gestisci pipeline di dati per l'integrazione e la trasformazione dei dati.
Estrazione di Dati Non Strutturati Guidata da LLM — Progettata per Distribuzioni API e Flussi di Lavoro ETL
Business intelligence come codice: crea visualizzazioni di dati veloci e interattive in SQL e markdown
Pipeline di dati per i dati di configurazione e sicurezza del cloud. Creazione di soluzioni per l'inventario degli asset cloud, CSPM, FinOps e la gestione delle vulnerabilità. Estrazione da AWS, Azure, GCP e oltre 70 fonti cloud e SaaS.
Il Data Load Tool (dlt) è una libreria Python open source che semplifica il caricamento dei dati 🛠️
Pagina di visualizzazione integrata di DataX: seleziona una sorgente dati per generare con un clic le attività di sincronizzazione dati. Supporta sorgenti dati come RDBMS, Hive, HBase, ClickHouse, MongoDB e altre. Creazione batch di attività di sincronizzazione dati RDBMS, integrazione con sistema di scheduling open source, supporto per elaborazione distribuita, sincronizzazione incrementale dati, visualizzazione in tempo reale dei log di esecuzione, monitoraggio risorse executor, KILL processi in esecuzione, crittografia informazioni sorgenti dati, ecc.
Motore dati ad alte prestazioni per carichi di lavoro AI e multimodali. Elabora immagini, audio, video e dati strutturati su qualsiasi scala.
lakeFS - Controllo delle versioni dei dati per il tuo data lake | Git per i dati
Riassunti e risorse per il libro "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
DeepAnalyze è il primo LLM agentico per la data science autonoma. 🎈 Il tuo analista di dati AI che analizza automaticamente grandi quantità di dati e genera report di analisi professionali con un solo clic!
Alternativa a Segment focalizzata su Privacy e Sicurezza, in Golang e React
SQL Translator è uno strumento per la conversione di query in linguaggio naturale in codice SQL utilizzando l'intelligenza artificiale. Questo progetto è gratuito al 100% e open source.
pandas su AWS - Integrazione facile con Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer e S3 (Parquet, CSV, JSON e EXCEL).
Un elenco di risorse utili per imparare Data Engineering da zero
Un elenco di molte domande di colloquio e sfide del mondo reale nel settore tecnologico! (https://tech-vault-web.vercel.app/)
Sostituto drop-in di Apache Spark scritto in Rust, che unifica l'elaborazione batch, l'elaborazione in streaming e i carichi di lavoro AI ad alta intensità computazionale.
Memphis.dev è una piattaforma di data streaming altamente scalabile e senza sforzo
Scopri come progettare, sviluppare, distribuire e iterare applicazioni ML pronte per la produzione.
Apache DevLake è una piattaforma open-source per dati di sviluppo per ingerire, analizzare e visualizzare i dati frammentati dagli strumenti DevOps, estraendo insight per l'eccellenza ingegneristica, l'esperienza degli sviluppatori e la crescita della community.
Impara a costruire il tuo assistente AI Second Brain con LLM, agenti, RAG, fine-tuning, LLMOps e tecniche per sistemi AI.
Un nuovo SOTA per RAG: un'architettura di recupero originale e una base di conoscenza open source per umani e agenti.
Un elenco fantastico di progetti open-source di data engineering
Meltano: il motore di integrazione dati dichiarativo e orientato al codice che alimenta le tue idee più sfrenate di prodotti basati sui dati e sull'IA. Dì addio alla scrittura, alla manutenzione e alla scalabilità delle tue integrazioni API.
Domande frequenti
Qual è il repository #data-engineering più popolare su GitHub?
Il progetto open source #data-engineering più alto in classifica su GitHub è apache/superset, con 75,603 stelle. Apache Superset è una piattaforma di visualizzazione e esplorazione dei dati
Quali linguaggi di programmazione sono più utilizzati nei repository #data-engineering?
Tra i progetti #data-engineering più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, Rust, Jupyter Notebook.
Come viene calcolata la classifica dei repository #data-engineering?
Monitoriamo 152 repository open source attivi contrassegnati con #data-engineering (500+ stelle), per un totale di 727,632 stelle e una media di 4,787 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.