#big-data Repository
Scopri 133 repository GitHub open source attivi contrassegnati con #big-data, che raccolgono un totale di 683,600 stelle (con una media di 5,139 stelle per progetto). Il progetto leader di questo argomento è binhnguyennus/awesome-scalability, con 75,924 stelle.
133 repository in totale
I Pattern di Sistemi su Larga Scala Scalabili, Affidabili e Performanti
Apache Spark – Un motore di analisi unificato per l'elaborazione di dati su larga scala
Notebook Python per la data science: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fondamenti di Python, AWS e varie righe di comando.
Piattaforma IoT all-in-one: gestione dei dispositivi, raccolta, elaborazione e visualizzazione dei dati.
Un protocollo di cybersecurity open source per la sincronizzazione di dati grafici decentralizzati.
Repository ufficiale di Trino, il motore di query SQL distribuito per big data, precedentemente noto come PrestoSQL (https://trino.io)
Un database di grafi distribuito, veloce e open-source con scalabilità orizzontale e alta disponibilità
Il motore di query aperto più veloce al mondo per analisi in meno di un secondo, sia all'interno che all'esterno del data lakehouse. Con la flessibilità di supportare quasi tutti gli scenari, StarRocks offre prestazioni di prim'ordine per analisi multidimensionali, analisi in tempo reale e query ad hoc. Un progetto della Linux Foundation.
Una libreria Gradient Boosting on Decision Trees veloce, scalabile e ad alte prestazioni, utilizzata per ranking, classificazione, regressione e altre attività di machine learning per Python, R, Java, C++. Supporta il calcolo su CPU e GPU.
Un framework di storage open-source che consente di costruire un'architettura Lakehouse con motori di calcolo tra cui Spark, PrestoDB, Flink, Trino e Hive e API
Apache Beam è un modello di programmazione unificato per l'elaborazione di dati batch e in streaming.
Arkime è un sistema open source, su larga scala, di cattura completa dei pacchetti, indicizzazione e database.
H2O è una Piattaforma di Machine Learning Open Source, Distribuita, Veloce e Scalabile: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM con Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), ecc.
Database di sincronizzazione multi-primario senza interruzioni con un'API HTTP/JSON intuitiva, progettato per l'affidabilità
Notebook basato sul web che consente analisi dati interattive data-driven e documenti collaborativi con SQL, Scala e altro ancora.
Hazelcast è una piattaforma unificata di dati in tempo reale che combina l'elaborazione di flussi con un archivio dati veloce, consentendo ai clienti di agire istantaneamente sui dati in movimento per insight in tempo reale.
Motore di ricerca testuale/vettoriale in Go, open source, distribuito, semplice, rapido ed efficiente
Motore dati ad alte prestazioni per carichi di lavoro AI e multimodali. Elabora immagini, audio, video e dati strutturati su qualsiasi scala.
Libreria Python di apprendimento automatico semplice e distribuito che porta gli algoritmi ML su Spark
Stream Framework è una libreria Python che consente di costruire feed di notizie, flussi di attività e sistemi di notifica utilizzando Cassandra e/o Redis. Gli autori di Stream-Framework forniscono anche un servizio cloud per la tecnologia dei feed:
⚡️ Un componente Vue che supporta elenchi di grandi quantità di dati con elevate prestazioni di rendering ed efficienza.
Trasforma facilmente grandi set di URL di immagini in un set di dati di immagini. Può scaricare, ridimensionare e pacchettizzare 100 milioni di URL in 20 ore su una macchina.
CrateDB è un database SQL distribuito e scalabile per lo stoccaggio e l'analisi di grandi quantità di dati in quasi tempo reale, anche con query complesse. È compatibile con PostgreSQL e basato su Lucene.
🔨 🍇 💻 🚀 GraphScope: Un sistema completo per il calcolo di grafi su larga scala da Alibaba | Sistema completo per il calcolo di grafi
Sostituto drop-in di Apache Spark scritto in Rust, che unifica l'elaborazione batch, l'elaborazione in streaming e i carichi di lavoro AI ad alta intensità computazionale.
Apache Paimon è un formato lake che consente di creare un'architettura Realtime Lakehouse con Flink e Spark sia per operazioni di streaming che batch.
Un database di grafi che supporta più di 100+ miliardi di dati, alte prestazioni e scalabilità (Include Motore OLTP & REST-API & Backend)
Domande frequenti
Qual è il repository #big-data più popolare su GitHub?
Il progetto open source #big-data più alto in classifica su GitHub è binhnguyennus/awesome-scalability, con 75,924 stelle. I Pattern di Sistemi su Larga Scala Scalabili, Affidabili e Performanti
Quali linguaggi di programmazione sono più utilizzati nei repository #big-data?
Tra i progetti #big-data più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Java, Python, Rust, C++.
Come viene calcolata la classifica dei repository #big-data?
Monitoriamo 133 repository open source attivi contrassegnati con #big-data (500+ stelle), per un totale di 683,600 stelle e una media di 5,139 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.