#etl Repository
Scopri 105 repository GitHub open source attivi contrassegnati con #etl, che raccolgono un totale di 408,616 stelle (con una media di 3,891 stelle per progetto). Il progetto leader di questo argomento è pathwaycom/pathway, con 61,976 stelle.
105 repository in totale
Framework ETL Python per l'elaborazione di stream, analisi in tempo reale, pipeline LLM e RAG.
Apache Airflow - Una piattaforma per creare, pianificare e monitorare workflow in modo programmatico
Orchestra tutto, ovunque. Il control plane open source per i workflow di dati, infrastruttura, processi aziendali e agenti di IA. Dichiarativo in YAML, basato su eventi, compatibile con qualsiasi linguaggio, versionato con Git e scalabile fino a milioni di esecuzioni.
Movimento di dati open-source per pipeline ELT e agenti AI — da API, database e file a data warehouse, data lake e applicazioni AI. Sia self-hosted che Cloud.
Una piattaforma di orchestrazione per lo sviluppo, la produzione e l'osservazione di asset di dati.
Motore incrementale per agenti a lungo orizzonte 🌟 Metti una stella se ti piace!
🧙 Costruisci, esegui e gestisci pipeline di dati per l'integrazione e la trasformazione dei dati.
Zero-ETL, infinite possibilità. API di query live, codice e altro ancora con SQL. Nessun database richiesto.
Pipeline di dati per i dati di configurazione e sicurezza del cloud. Creazione di soluzioni per l'inventario degli asset cloud, CSPM, FinOps e la gestione delle vulnerabilità. Estrazione da AWS, Azure, GCP e oltre 70 fonti cloud e SaaS.
Pagina di visualizzazione integrata di DataX: seleziona una sorgente dati per generare con un clic le attività di sincronizzazione dati. Supporta sorgenti dati come RDBMS, Hive, HBase, ClickHouse, MongoDB e altre. Creazione batch di attività di sincronizzazione dati RDBMS, integrazione con sistema di scheduling open source, supporto per elaborazione distribuita, sincronizzazione incrementale dati, visualizzazione in tempo reale dei log di esecuzione, monitoraggio risorse executor, KILL processi in esecuzione, crittografia informazioni sorgenti dati, ecc.
Motore dati ad alte prestazioni per carichi di lavoro AI e multimodali. Elabora immagini, audio, video e dati strutturati su qualsiasi scala.
Alternativa a Segment focalizzata su Privacy e Sicurezza, in Golang e React
pandas su AWS - Integrazione facile con Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer e S3 (Parquet, CSV, JSON e EXCEL).
Un elenco curato con risorse sulle interfacce utente basate su nodi
Framework di trasformazione dati scalabile ed efficiente - retrocompatibile con dbt.
Uno strumento veloce, semplice ed economico per replicare dati da Postgres a Data Warehouse, code e storage
Apache DevLake è una piattaforma open-source per dati di sviluppo per ingerire, analizzare e visualizzare i dati frammentati dagli strumenti DevOps, estraendo insight per l'eccellenza ingegneristica, l'esperienza degli sviluppatori e la crescita della community.
Script Python per lavori ETL (extract, transform and load) per blocchi Ethereum, transazioni, token ERC20/ERC721, trasferimenti, ricevute, log, contratti, transazioni interne. I dati sono disponibili in Google BigQuery https://goo.gl/oY5BCQ
Apache Hamilton aiuta data scientist e ingegneri a definire dataflow testabili, modulari e auto-documentanti, che codificano lineage/tracing e metadati. Funziona e scala ovunque lo faccia python.
Instill Core è uno strumento di infrastruttura AI full-stack per l'orchestrazione di dati, modelli e pipeline, progettato per semplificare ogni aspetto della creazione di applicazioni versatili AI-first.
Il motore SQL unificato per lo streaming più veloce, in un unico binario C++. ⚡ Latenza nell’ordine dei millisecondi. Oltre 100 GB/s di throughput. Calcola continuamente contesto con stato a partire da flussi, log, metriche, eventi e CDC.
Lista attivamente curata di strumenti BI fantastici. PR benvenuti!
OLake Go: replica open source da database, Kafka e S3 ad Apache Iceberg e Parquet. Origini: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. In precedenza datazip-inc/olake. La manutenzione delle tabelle è disponibile in datazip-inc/olake-fusion.
Il posto migliore per imparare il data engineering. Costruito e mantenuto dalla community di data engineering.
Estrazione di dati non strutturati, rapida ed efficiente. Scritto in Rust con binding per molte lingue.
Dozer è uno strumento di spostamento dati in tempo reale che sfrutta il CDC da varie sorgenti e sposta i dati in varie destinazioni.
ETL/ELT open source da implementare sui propri server o nel cloud. Basato su DuckDB: pipeline visive no-code/low-code o SQL, 446 componenti, dbt, CDC, qualità dei dati, reverse ETL, lineage e MCP per agenti IA. Nessun cloud del fornitore, nessuna fatturazione per riga.
La piattaforma aperta di intelligenza documentale per costruttori e hacker - DMS per il mondo agentico
Successore di Alibaba DataX, attivamente mantenuto: uno strumento ETL open source, veloce e versatile, compatibile con oltre 30 origini dati RDBMS e NoSQL.
Domande frequenti
Qual è il repository #etl più popolare su GitHub?
Il progetto open source #etl più alto in classifica su GitHub è pathwaycom/pathway, con 61,976 stelle. Framework ETL Python per l'elaborazione di stream, analisi in tempo reale, pipeline LLM e RAG.
Quali linguaggi di programmazione sono più utilizzati nei repository #etl?
Tra i progetti #etl più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Java, Go, Rust.
Come viene calcolata la classifica dei repository #etl?
Monitoriamo 105 repository open source attivi contrassegnati con #etl (500+ stelle), per un totale di 408,616 stelle e una media di 3,891 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.