#bigdata Repository
Scopri 51 repository GitHub open source attivi contrassegnati con #bigdata, che raccolgono un totale di 261,861 stelle (con una media di 5,134 stelle per progetto). Il progetto leader di questo argomento è DataExpert-io/data-engineer-handbook, con 45,237 stelle.
51 repository in totale
Questo è un repository con collegamenti a tutto ciò che vorresti mai imparare sull'ingegneria dei dati
RustFS è un sistema di archiviazione di oggetti ad alte prestazioni, open source e compatibile con S3, che supporta la migrazione e la coesistenza con altre piattaforme compatibili con S3, come MinIO e Ceph.
Database per serie temporali ad alte prestazioni e scalabile, progettato per scenari Industrial IoT (IIoT)
Potenziamento dell'Intelligenza dei Dati con SQL Distribuito per Sharding, Scalabilità e Sicurezza in Tutti i Database.
Un elenco curato di incredibili framework di big data, risorse e altre meraviglie.
Data Agent Ready Warehouse: Uno per Analytics, Ricerca, IA, Sandbox Python. — ricostruito da zero. Architettura unificata sul tuo S3.
DataFrame ibrido Apache Arrow/NumPy Out-of-Core per Python, ML, visualizzazione ed esplorazione di grandi dati tabulari a un miliardo di righe al secondo 🚀
100+ set di modelli HTML5 per grandi schermi di visualizzazione di Big Data; Settori inclusi: comunità, gestione immobiliare, affari governativi, trasporti, banche finanziarie, ecc. I modelli di visualizzazione di Big Data più recenti, più numerosi, più completi, più cool e più sorprendenti di tutta la rete. Aggiornamento in corso.
🔨 Genera istruzioni SQL strutturate utilizzando JSON, basato su Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, il progetto è semplice (logica forte, pagine leggere), adatto per esercitarsi~
Apprendimento Big Data, Imparare Big Data da zero, Include video di apprendimento e materiali per colloqui per ogni fase dell'apprendimento Big Data
GridDB è un database open source di nuova generazione che rende i time series IoT e i big data veloci e facili.
Aix-DB, basato sul framework LangChain/LangGraph e combinato con l'architettura di collaborazione multi‑agente MCP Skills, consente la conversione end‑to‑end dal linguaggio naturale agli insight dei dati.
.NET for Apache® Spark™ rende Apache Spark™ facilmente accessibile agli sviluppatori .NET.
Basato su Flink open-source, estende il suo SQL in tempo reale; implementa principalmente il join tra flussi e tabelle di dimensione, supporta tutta la sintassi del Flink SQL nativo
Byzer (precedentemente MLSQL): Un linguaggio di programmazione open-source low-code per pipeline di dati, analisi e AI.
Il repository di conoscenze Big Data coinvolge modellazione di data warehouse, calcolo in tempo reale, Big Data, piattaforma dati centrale, progettazione di sistemi, Java, algoritmi, ecc.
Tutorial Apache Spark & Python (pySpark) per l'Analisi Big Data e Machine Learning come notebook IPython / Jupyter
:truck: Flussi di lavoro di preparazione dati agili resi facili con Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark
La prima piattaforma open-source per la scoperta e l'osservabilità dei dati. Semplifichiamo la vita ai professionisti dei dati in modo che tu possa concentrarti sul tuo business.
Apache Celeborn è un servizio elastico e ad alte prestazioni per dati shuffle e spilled.
Apache Livy è un'interfaccia REST open source per interagire con Apache Spark da qualsiasi luogo.
Generatore di codice Python basato su GUI per la data science, estensione per Jupyter Lab, Jupyter Notebook e Google Colab.
Lo scaffold Flink-Boot di Lazy Squirrel consente a Flink di abbracciare completamente l'ecosistema Spring, permettendo agli sviluppatori di sviluppare programmi di elaborazione stream distribuiti con la modalità di sviluppo Java WEB. Lazy Squirrel rende il passaggio più semplice. Lazy Squirrel mira a consentire agli sviluppatori di scrivere e implementare rapidamente codice di business con costi di ingresso inferiori (senza dover comprendere la teoria del calcolo distribuito e i dettagli del framework Flink). Per migliorare ulteriormente l'agilità dello sviluppo di progetti di grandi dimensioni utilizzando lo scaffold Lazy Squirrel, lo scaffold integra per impostazione predefinita il framework Spring per la gestione dei Bean, integrando anche framework comunemente utilizzati nei settori dei microservizi e dello sviluppo WEB, al fine di aumentare ulteriormente la velocità di sviluppo. Ad esempio, l'integrazione del framework ORM Mybatis, del framework di validazione Hibernate Validator, del framework di retry Spring Retry, ecc. Vedere le caratteristiche dello scaffold sottostanti per i dettagli.
DataWave è un framework di ingest/query che sfrutta Apache Accumulo per fornire un accesso rapido e sicuro ai dati.
Motore leggero per lo streaming di big data in tempo reale basato su Apache Pekko
Soluzione per dashboard di visualizzazione, che fornisce un motore di editing visivo per aiutare singoli o aziende a personalizzare facilmente le proprie applicazioni dashboard di visualizzazione.
WeDataSphere è una suite di piattaforme big data di grado finanziario, tutto in uno.
Database transazionale embedded per blob, documenti e grafi, con NVMe in kernel bypass tramite io_uring e SPDK, compattazione su GPU e un’unica ABI C per i propri motori, RocksDB e LevelDB 🗄️
Datafaker è uno strumento per la generazione di dati di test su larga scala e dati di test di flusso. Datafaker falsifica i dati e li inserisce in varie fonti di dati. Strumento di generazione dati di test
Il centro di conoscenza open source per la tua azienda. Marmot sa cosa significano i tuoi dati, gestisce chi può usarli ed esegue ogni query inviata dalle persone e dagli agenti, verificandola e registrandola. Catalogo, lineage, SQL governato e un server MCP in un unico binario Go.
Archiviazione di oggetti distribuita ad alte prestazioni compatibile con S3, focalizzata sulla velocità e progettata come alternativa aperta a MinIO e RustFS.
TOMs è un framework di sviluppo generico completamente open-source, ad alte prestazioni, sistematico, orientato ai plugin e indipendente dallo scenario.
Un semplice cluster standalone Spark per scopi del tuo ambiente di test
Raccolta big data, piattaforma di estrazione, zdh_web è la piattaforma di gestione visuale per i servizi della serie zdh, che include moduli come raccolta dati, pianificazione, autorizzazioni, flusso di approvazione, marketing del dominio privato, ecc.
Domande frequenti
Qual è il repository #bigdata più popolare su GitHub?
Il progetto open source #bigdata più alto in classifica su GitHub è DataExpert-io/data-engineer-handbook, con 45,237 stelle. Questo è un repository con collegamenti a tutto ciò che vorresti mai imparare sull'ingegneria dei dati
Quali linguaggi di programmazione sono più utilizzati nei repository #bigdata?
Tra i progetti #bigdata più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Java, Go, Python, Scala.
Come viene calcolata la classifica dei repository #bigdata?
Monitoriamo 51 repository open source attivi contrassegnati con #bigdata (500+ stelle), per un totale di 261,861 stelle e una media di 5,134 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.