#data-pipeline Repository
Scopri 67 repository GitHub open source attivi contrassegnati con #data-pipeline, che raccolgono un totale di 219,024 stelle (con una media di 3,269 stelle per progetto). Il progetto leader di questo argomento è xai-org/x-algorithm, con 34,361 stelle.
67 repository in totale
Movimento di dati open-source per pipeline ELT e agenti AI — da API, database e file a data warehouse, data lake e applicazioni AI. Sia self-hosted che Cloud.
Potenziamento dell'Intelligenza dei Dati con SQL Distribuito per Sharding, Scalabilità e Sicurezza in Tutti i Database.
Change data capture per una varietà di database. Si prega di segnalare i problemi su https://github.com/debezium/dbz/issues.
Il repository RedPajama-Data contiene codice per la preparazione di grandi set di dati per l'addestramento di modelli linguistici di grandi dimensioni.
Orchestratore di workflow self-hostable per team il cui lavoro principale non è l’orchestrazione. YAML dichiarativo per gestire script, comandi SSH, container, ecc.; mantieni i workflow separati dalla logica di business. Un singolo binario, nessun database, funziona con risorse hardware limitate. Un’alternativa ad Airflow, Cron e agli scheduler di job.
Alternativa a Segment focalizzata su Privacy e Sicurezza, in Golang e React
ingestr è uno strumento CLI per copiare dati tra qualsiasi database con un singolo comando in modo fluido.
Un elenco di risorse utili per imparare Data Engineering da zero
Server di inferenza open source e cluster di produzione per tutti i modelli di cui il tuo agente ha bisogno.
Memphis.dev è una piattaforma di data streaming altamente scalabile e senza sforzo
Una libreria open-source per la registrazione dei dati per modelli di machine learning e pipeline di dati. 📚 Fornisce visibilità sulla qualità dei dati e sulle prestazioni del modello nel tempo. 🛡️ Supporta la raccolta dati che preserva la privacy, garantendo sicurezza e robustezza. 📈
Membri del Congresso degli Stati Uniti, 1789-Oggi, in YAML/JSON/CSV, nonché comitati, presidenti e vicepresidente.
La soluzione di data observability nativa per dbt per ingegneri di dati e analytics. Monitora le tue pipeline di dati in pochi minuti. Disponibile come servizio self-hosted o cloud con funzionalità premium.
Meridian taglia il rumore delle notizie analizzando storie con IA e fornendo brevi briefing giornalieri personalizzati.
Retriever di dati Polymarket che recupera, elabora e struttura i dati Polymarket inclusi mercati, eventi di ordini e scambi.
OLake Go: replica open source da database, Kafka e S3 ad Apache Iceberg e Parquet. Origini: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. In precedenza datazip-inc/olake. La manutenzione delle tabelle è disponibile in datazip-inc/olake-fusion.
Sistema composito di analisi team azionario con agenti intelligenti AI multipli per monitoraggio order book, basato su più agenti AI, simula il processo di analisi di un team di analisti finanziari, fornendo analisi completa degli investimenti azionari e suggerimenti decisionali. Nuovo: analisi di tracciamento lista draghi-tigri capitali caldi, analisi rotazione allerta settoriale, supporta analisi batch multi-thread, monitoraggio real-time punti chiave, invio avvisi, interfaccia miniqmt riservata, supporta trading quantitativo, realizza veramente 'AI fa trading azionario per te', adatto per azioni A Cina continentale. Per sito test sotto, inserire chiave temporanea deepseek, eliminare dopo test per evitare rischio fughe. Nota: Accesso eccessivo servizio cloud test può causare rifiuto sorgente dati. Per uso, deploy locale.
Crawla secwiki e xuanwu.github.io/sec.today, analizza siti di informazioni di sicurezza, tendenze di sicurezza, estrai account di lavoratori della sicurezza (twitter, weixin, github ecc.)
ETL/ELT open source da implementare sui propri server o nel cloud. Basato su DuckDB: pipeline visive no-code/low-code o SQL, 446 componenti, dbt, CDC, qualità dei dati, reverse ETL, lineage e MCP per agenti IA. Nessun cloud del fornitore, nessuna fatturazione per riga.
Codice sorgente che accompagna il libro: Data Science su Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017
Kspider è una piattaforma di scraping che consente di definire flussi di scraping graficamente, consentendo l'implementazione di un flusso di scraping senza codice. Kspider non si limita allo scraping web, ma può anche essere utilizzato per test di automazione WEB. Altre funzionalità ti aspettano per essere esplorate.
Crea un data warehouse in SQL Server a partire da due sistemi sorgente, un CRM e un ERP, passando per i livelli bronze, silver e gold. File e script del progetto completo gratuito.
zerocode-tdd è un framework gratuito e open source per il testing automatizzato, sviluppato dalla community e orientato ai risultati, per pipeline di dati, ETL, API REST, Kafka (flussi di dati), database e scenari di carico, il tutto definito in semplici file JSON o YAML, senza scrivere codice.
🌊 Sincronizza continuamente i sistemi in cui risiedono i tuoi dati con i sistemi in cui _vuoi_ che risiedano, gestendo i tuoi flussi di dati con Estuary. 🌊
qData è una piattaforma dati open source leggera, completa di funzionalità e nativa per l’IA. Copre l’integrazione, lo sviluppo, la modellazione e la governance dei dati, oltre agli asset e ai servizi API, con distribuzione self-hosted, scalabilità flessibile e uso commerciale.
SeaTunnel è una piattaforma di integrazione dati distribuita e ad alte prestazioni per la sincronizzazione e la trasformazione di dati massivi (offline e in tempo reale).
Strumento Pythonic per orchestrare workflow di machine learning/high performance/quantum computing in ambienti di calcolo eterogenei.
Census Reporter è un progetto finanziato dal Knight News Challenge per rendere più facile ai giornalisti scrivere storie utilizzando informazioni dall'U.S. Census Bureau.
Data Engineering pratico: una guida pratica per progetti immobiliari
La classifica delle tendenze di Weibo registra le ricerche popolari su Weibo a partire dal 24 novembre 2020. I dati vengono acquisiti ogni ora e archiviati giornalmente.
Open data di indirizzi a livello di quartiere (277.191 voci) a livello nazionale
Gestisci facilmente le operazioni CLI quotidiane tramite Python invece dei normali programmi Bash. 🇺🇦 #supporting
Analisi retrospettiva con LLM delle discussioni di Hacker News risalenti a un decennio fa
Strumento per utilizzare segnali wireless per verificare se si viene seguiti.
Domande frequenti
Qual è il repository #data-pipeline più popolare su GitHub?
Il progetto open source #data-pipeline più alto in classifica su GitHub è xai-org/x-algorithm, con 34,361 stelle. Algoritmo che alimenta il feed 'For You' su X
Quali linguaggi di programmazione sono più utilizzati nei repository #data-pipeline?
Tra i progetti #data-pipeline più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Java, Go, Rust.
Come viene calcolata la classifica dei repository #data-pipeline?
Monitoriamo 67 repository open source attivi contrassegnati con #data-pipeline (500+ stelle), per un totale di 219,024 stelle e una media di 3,269 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.