#spark Repository
Scopri 126 repository GitHub open source attivi contrassegnati con #spark, che raccolgono un totale di 513,269 stelle (con una media di 4,073 stelle per progetto). Il progetto leader di questo argomento è DataTalksClub/data-engineering-zoomcamp, con 46,997 stelle.
126 repository in totale
Data Engineering Zoomcamp è un corso gratuito di 9 settimane sulla creazione di pipeline di dati pronte per la produzione. Iscriviti al corso qui 👇🏼
Apache Spark – Un motore di analisi unificato per l'elaborazione di dati su larga scala
Rendi la tua azienda data-driven. Connettiti a qualsiasi origine dati, visualizza facilmente, crea dashboard e condividi i tuoi dati.
Notebook Python per la data science: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fondamenti di Python, AWS e varie righe di comando.
Ultima tecnologia Docker container, impara le migliori pratiche dai casi reali! | Impara e comprendi le tecnologie Docker & Container, con pratica reale DevOps.
GUI per ChatGPT API e molti LLM. Supporta agenti, QA basato su file, messa a punto di GPT e query con ricerca web. Il tutto con una UI pulita.
Blog di apprendimento Flink. http://www.54tianzhisheng.cn/ Contiene contenuti su introduzione a Flink, concetti, principi, pratica, ottimizzazione delle prestazioni, analisi del codice sorgente, ecc. Coinvolge casi di studio su Flink Connector, Metrics, Library, DataStream API, Table API & SQL, ecc., e condivisione di casi di grandi progetti per applicazioni Flink in produzione (PVUV, archiviazione log, deduplicazione in tempo reale di miliardi di dati, allarmi di monitoraggio). Benvenuti tutti a supportare la mia rubrica «Motore di Calcolo in Tempo Reale per Big Data Flink: Pratica e Ottimizzazione delle Prestazioni».
【Rubrica Interviste Grandi Aziende】 Una guida tecnica per programmatori Java: qui ci sono domande d'intervista, architettura di sistema, consigli di carriera, middleware principali, ecc., per diventare un professionista migliore!
Framework per l'addestramento distribuito per TensorFlow, Keras, PyTorch e Apache MXNet.
Suite di strumenti per il deployment e l'addestramento di modelli di deep learning che utilizzano la JVM. Le caratteristiche principali includono l'importazione di modelli per Keras, TensorFlow e ONNX/PyTorch, una libreria C++ modulare e minuscola per l'esecuzione di codice matematico e una libreria matematica basata su Java sopra la libreria C++ di base. Include anche SameDiff: una libreria simile a PyTorch/TensorFlow per l'esecuzione di deep learn...
Un framework di storage open-source che consente di costruire un'architettura Lakehouse con motori di calcolo tra cui Spark, PrestoDB, Flink, Trino e Hive e API
🧙 Costruisci, esegui e gestisci pipeline di dati per l'integrazione e la trasformazione dei dati.
H2O è una Piattaforma di Machine Learning Open Source, Distribuita, Veloce e Scalabile: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM con Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), ecc.
Un server di parametri flessibile e potente per il machine learning su larga scala
Notebook basato sul web che consente analisi dati interattive data-driven e documenti collaborativi con SQL, Scala e altro ancora.
Libreria Python di apprendimento automatico semplice e distribuito che porta gli algoritmi ML su Spark
cube studio Piattaforma AI Open-Source Cloud-Native One-Stop per Machine Learning/Deep Learning/Grandi Modelli, MLOps Flusso completo del link algoritmico, Piattaforma di noleggio di capacità computazionale, Sviluppo online Notebook, Orchestrazione di pipeline di flusso di task drag-and-drop, Addestramento distribuito multi-macchina multi-GPU, Ricerca di iperparametri, Virtualizzazione VGPU del servizio di inferenza, Edge Computing, Annotazione automatizzata della piattaforma di annotazione, Fine-tuning SFT di grandi modelli/Modello di ricompensa/Addestramento di apprendimento per rinforzo di Deepseek, Inferenza multi-macchina di grandi modelli come vLLM/Ollama/MindSpore, Knowledge Base privata, Mercato di modelli AI, Supporto per CPU/GPU/NPU domestici ecosistema Ascend, Supporto per RDMA, Supporto per framework distribuiti come PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Un bitset compresso migliore in Java: utilizzato da Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw e molti altri
Deequ è una libreria costruita su Apache Spark per definire "unit test per i dati", che misurano la qualità dei dati in grandi dataset.
Sostituto drop-in di Apache Spark scritto in Rust, che unifica l'elaborazione batch, l'elaborazione in streaming e i carichi di lavoro AI ad alta intensità computazionale.
🔨 Genera istruzioni SQL strutturate utilizzando JSON, basato su Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, il progetto è semplice (logica forte, pagine leggere), adatto per esercitarsi~
Apache Paimon è un formato lake che consente di creare un'architettura Realtime Lakehouse con Flink e Spark sia per operazioni di streaming che batch.
Apache Linkis costruisce un livello di middleware computazionale per facilitare la connessione, la governance e l'orchestrazione tra le applicazioni superiori e i motori di dati sottostanti.
DataSphereStudio è un portale one-stop per lo sviluppo e la gestione di applicazioni dati, che copre scenari come scambio dati, desensibilizzazione/pulizia, analisi/mining, misurazione della qualità, visualizzazione e pianificazione delle attività.
Un motore lakehouse aperto per agenti: nativo di Postgres, dei vettori e di Python. Parla PostgreSQL, funziona sul tuo object storage ed è scritto in Rust.
Apprendimento Big Data, Imparare Big Data da zero, Include video di apprendimento e materiali per colloqui per ogni fase dell'apprendimento Big Data
Operatore Kubernetes per la gestione del ciclo di vita delle applicazioni Apache Spark su Kubernetes.
Progetto didattico storico: consigli cinematografici con Spark, web scraping, applicazione web e backend. Lo sviluppo continuo della nuova versione è disponibile su cinematch-recommender.
:herb: Esempi di apprendimento rapido basati su Spring Boot, integrazione di framework open-source incontrati, come: RabbitMQ (coda di ritardo), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, plugin di crittografia/decrittazione MyBatis, gestione delle eccezioni, output dei log, sviluppo multi-modulo, packaging multi-ambiente, cache, web crawler, JWT, GraphQL, Dubbo, Zookeeper e Async, ecc. :pushpin:
Collegamento dati probabilistico veloce, accurato e scalabile con supporto per più backend SQL
Sistema di analisi del flusso di passeggeri Big Data della metropolitana di Shenzhen🚇🚄🌟
✨Spark è uno strumento di amministrazione remota (RAT) basato sul web, multipiattaforma e completo, scritto in Go, che ti consente di controllare tutti i tuoi dispositivi ovunque. Spark è uno strumento di controllo e monitoraggio remoto scritto in Go, basato sul web, multipiattaforma e ricco di funzionalità, che ti permette di monitorare e controllare tutti i dispositivi ovunque e in qualsiasi momento.
Apache Kyuubi è un gateway distribuito e multi-tenant per fornire SQL serverless su data warehouse e lakehouse.
YTsaurus è una piattaforma open-source di big data scalabile e tollerante ai guasti.
Strumenti per la gestione del firmware dei prodotti DJI, con particolare attenzione ai quadricotteri.
TransmogrifAI (pronunciato trăns-mŏgˈrə-fī) è una libreria AutoML per la creazione di flussi di lavoro di apprendimento automatico modulari, riutilizzabili e fortemente tipizzati su Apache Spark con una minima regolazione manuale.
Un'interfaccia unificata per il calcolo distribuito. Fugue esegue codice SQL, Python, Pandas e Polars su Spark, Dask e Ray senza alcuna riscrittura.
.NET for Apache® Spark™ rende Apache Spark™ facilmente accessibile agli sviluppatori .NET.
Domande frequenti
Qual è il repository #spark più popolare su GitHub?
Il progetto open source #spark più alto in classifica su GitHub è DataTalksClub/data-engineering-zoomcamp, con 46,997 stelle. Data Engineering Zoomcamp è un corso gratuito di 9 settimane sulla creazione di pipeline di dati pronte per la produzione. Iscriviti al corso qui 👇🏼
Quali linguaggi di programmazione sono più utilizzati nei repository #spark?
Tra i progetti #spark più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Java, Scala, Python, Jupyter Notebook.
Come viene calcolata la classifica dei repository #spark?
Monitoriamo 126 repository open source attivi contrassegnati con #spark (500+ stelle), per un totale di 513,269 stelle e una media di 4,073 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.