#data-pipelines Repository
Scopri 50 repository GitHub open source attivi contrassegnati con #data-pipelines, che raccolgono un totale di 323,108 stelle (con una media di 6,462 stelle per progetto). Il progetto leader di questo argomento è twitter/the-algorithm, con 73,884 stelle.
50 repository in totale
Framework ETL Python per l'elaborazione di stream, analisi in tempo reale, pipeline LLM e RAG.
Apache Airflow - Una piattaforma per creare, pianificare e monitorare workflow in modo programmatico
Una piattaforma di orchestrazione per lo sviluppo, la produzione e l'osservazione di asset di dati.
Converti documenti in dati strutturati senza sforzo. Unstructured è una soluzione ETL open-source per trasformare documenti complessi in formati puliti e strutturati per modelli linguistici. Visita il nostro sito web per saperne di più sul nostro prodotto Platform di livello enterprise per flussi di lavoro di livello di produzione, partizionamento, arricchimento, chunking e embedding.
Apache DolphinScheduler è la piattaforma moderna di orchestrazione dati. Agile per creare flussi di lavoro ad alte prestazioni con low-code.
Kedro è una cassetta degli attrezzi per la data science pronta per la produzione. Utilizza le migliori pratiche di ingegneria del software per aiutarti a creare pipeline di data engineering e data science che siano riproducibili, manutenibili e modulari.
🧙 Costruisci, esegui e gestisci pipeline di dati per l'integrazione e la trasformazione dei dati.
[SIGMOD'27] Preparazione dei dati semplificata con gli operatori e le pipeline più recenti basati su LLM.
🦀 Elaborazione di flussi di eventi per sviluppatori per raccogliere e trasformare dati in movimento per alimentare applicazioni intensive di dati reattive.
Controlla il tuo ranking su GitHub! Non dimenticare di mettere una ⭐ a questo repository.
Preswald è un packager WASM per applicazioni dati interattive basate su Python: impacchetta flussi di lavoro di dati complessi completi, in particolare visualizzazioni, in singoli file, eseguibili completamente nel browser, utilizzando Pyodide, DuckDB, Pandas e Plotly, Matplotlib, ecc. Crea dashboard, report e notebook che vengono eseguiti offline, si caricano velocemente e si condividono come un documento.
Meltano: il motore di integrazione dati dichiarativo e orientato al codice che alimenta le tue idee più sfrenate di prodotti basati sui dati e sull'IA. Dì addio alla scrittura, alla manutenzione e alla scalabilità delle tue integrazioni API.
La soluzione di data observability nativa per dbt per ingegneri di dati e analytics. Monitora le tue pipeline di dati in pochi minuti. Disponibile come servizio self-hosted o cloud con funzionalità premium.
Il posto migliore per imparare il data engineering. Costruito e mantenuto dalla community di data engineering.
Costruisci pipeline di dati con SQL e Python, acquisisci dati da diverse origini, aggiungi controlli di qualità e crea flussi end-to-end.
Estrazione di dati non strutturati, rapida ed efficiente. Scritto in Rust con binding per molte lingue.
Una piattaforma che rende facile per gli sviluppatori creare applicazioni in tempo reale, convenienti e focalizzate sulle operazioni
La prima piattaforma open-source per la scoperta e l'osservabilità dei dati. Semplifichiamo la vita ai professionisti dei dati in modo che tu possa concentrarti sul tuo business.
Un repository PyTorch per il caricamento dei dati e le utilità da condividere tra le librerie di dominio PyTorch.
Dataform è un framework per la gestione di operazioni sui dati basate su SQL in BigQuery.
Piattaforma di replica del database che sfrutta il change data capture. Trasmetti dati di produzione dai database al tuo data warehouse (Snowflake, BigQuery, Redshift, Databricks) in tempo reale.
Tuplex è un framework di elaborazione parallela di big data che esegue pipeline di data science scritte in Python alla velocità del codice compilato. Tuplex ha API Python simili ad Apache Spark o Dask, ma invece di invocare l'interprete Python, Tuplex genera bytecode LLVM ottimizzato per la pipeline e il set di dati di input specificati.
Optimus è un orchestratore di workflow facile da usare, affidabile e performante per la trasformazione dei dati, la modellazione dei dati, le pipeline e la gestione della qualità dei dati.
Framework Golang per ETL in streaming, pipeline di dati di osservabilità e app di elaborazione eventi
Questo pacchetto dbt cattura metadati, artefatti e risultati dei test in modo che tu possa rilevare anomalie, monitorare la qualità dei dati e costruire tabelle di metadati. Alimenta Elementary OSS e fornisce il layer di contesto più ampio utilizzato dal completo Data & AI Control Plane di Elementary Cloud.
Apache Spark 3 - Programmazione Spark in Python per principianti
Domande frequenti
Qual è il repository #data-pipelines più popolare su GitHub?
Il progetto open source #data-pipelines più alto in classifica su GitHub è twitter/the-algorithm, con 73,884 stelle. Codice sorgente per l'algoritmo di raccomandazione X
Quali linguaggi di programmazione sono più utilizzati nei repository #data-pipelines?
Tra i progetti #data-pipelines più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, Java, Rust.
Come viene calcolata la classifica dei repository #data-pipelines?
Monitoriamo 50 repository open source attivi contrassegnati con #data-pipelines (500+ stelle), per un totale di 323,108 stelle e una media di 6,462 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.