#spark Repositories
Entdecke 126 aktive Open-Source-GitHub-Repositories, die mit #spark getaggt sind und insgesamt 513,269 Sterne gesammelt haben (durchschnittlich 4,073 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist DataTalksClub/data-engineering-zoomcamp mit 46,997 Sternen.
Insgesamt 126 Repositories
Data Engineering Zoomcamp ist ein kostenloser 9-wöchiger Kurs über den Aufbau von produktionsreifen Datenpipelines. Nimm hier am Kurs teil 👇🏼
Apache Spark – Eine einheitliche Analyse-Engine für die Verarbeitung großer Datenmengen
Machen Sie Ihr Unternehmen datengesteuert. Stellen Sie eine Verbindung zu jeder Datenquelle her, visualisieren, dashboarden und teilen Sie Ihre Daten ganz einfach.
Python-Notebooks für Data Science: Deep Learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, Big Data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, Python-Grundlagen, AWS und verschiedene Befehlszeilen.
Neueste Docker-Container-Technologie, lerne Best Practices aus realen Fällen! | Lerne und verstehe Docker & Container Technologien, mit realer DevOps-Praxis.
GUI für ChatGPT API und viele LLMs. Unterstützt Agenten, dateibasierte QA, GPT-Feinabstimmung und Abfragen mit Websuche. Alles mit einer sauberen Benutzeroberfläche.
Flink Lernblog. http://www.54tianzhisheng.cn/ Enthält Inhalte zu Flink Einleitung, Konzepte, Prinzipien, Praxis, Performance-Tuning, Quellcode-Analyse usw. Beinhaltet Lernfälle zu Flink Connector, Metrics, Library, DataStream API, Table API & SQL usw., sowie das Teilen großer Projektfälle für Flink-Anwendungen (PVUV, Log-Speicherung, Echtzeit-Entdopplung von Milliarden von Daten, Monitoring-Alarme). Willkommen, alle meine Spalte „Big Data Real-Time Computing Engine Flink Praxis und Performance-Optimierung“ zu unterstützen.
【Großkonzern-Interview-Spalte】 Ein technischer Leitfaden für Java-Programmierer: Hier finden Sie Vorstellungsgesprächsfragen, Systemarchitektur, Karrieretipps, gängige Middleware usw., um ein besserer Profi zu werden!
Suite von Tools zum Bereitstellen und Trainieren von Deep-Learning-Modellen mit dem JVM. Zu den Highlights gehören der Modellimport für Keras, TensorFlow und ONNX/PyTorch, eine modulare und winzige C++-Bibliothek zur Ausführung von mathematischem Code und eine Java-basierte Mathematikbibliothek auf der Grundlage der Kern-C++-Bibliothek. Enthält auch SameDiff: Eine PyTorch/TensorFlow-ähnliche Bibliothek zum Ausführen von Deep-Learn...
Ein Open-Source-Speicherframework, das den Aufbau einer Lakehouse-Architektur mit Compute-Engines wie Spark, PrestoDB, Flink, Trino und Hive sowie APIs ermöglicht
🧙 Erstellen, ausführen und verwalten Sie Datenpipelines für die Datenintegration und -transformation.
H2O ist eine Open-Source-, verteilte, schnelle und skalierbare Machine-Learning-Plattform: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM mit Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML) usw.
Ein flexibler und leistungsstarker Parameter-Server für maschinelles Lernen im großen Maßstab
Web-basiertes Notebook, das datengetriebene, interaktive Datenanalysen und kollaborative Dokumente mit SQL, Scala und mehr ermöglicht.
Einfache und verteilte Machine-Learning-Python-Bibliothek zur Portierung von ML-Algorithmen für Spark
cube studio Open-Source Cloud-Native One-Stop Machine Learning/Deep Learning/Large Model AI Platform, MLOps Algorithmus-Link Ganzprozess, Rechenleistung-Leihplattform, Notebook Online-Entwicklung, Drag-and-Drop-Aufgabenfluss-Pipeline-Orchestrierung, Multi-Machine-Multi-GPU-verteiltes Training, Hyperparameter-Suche, Inferenzdienst VGPU-Virtualisierung, Edge Computing, Annotationsplattform-Automatisierte-Annotation, Large Model SFT Fine-Tuning/Reward Model/Reinforcement Learning Training von Deepseek usw., Multi-Machine-Inferenz von Large Models wie vLLM/Ollama/MindSpore, Private Knowledge Base, AI Model Marketplace, Unterstützung für heimische CPU/GPU/NPU Ascend-Ökosystem, Unterstützung für RDMA, Unterstützung für verteilte Frameworks wie PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Ein besserer komprimierter Bitset in Java: Verwendet von Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw und vielen anderen
Deequ ist eine Bibliothek, die auf Apache Spark aufbaut und für die Definition von "Unit-Tests für Daten" dient, die die Datenqualität in großen Datensätzen messen.
Drop-in-Ersatz für Apache Spark, geschrieben in Rust, der Batch-Verarbeitung, Stream-Verarbeitung und rechenintensive KI-Workloads vereint.
🔨 Generieren Sie mit JSON strukturierte SQL-Anweisungen, basierend auf Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, das Projekt ist einfach (starke Logik, leichte Seiten), gut zum Üben geeignet~
Apache Paimon ist ein Lake-Format, das den Aufbau einer Realtime-Lakehouse-Architektur mit Flink und Spark für Streaming- und Batch-Operationen ermöglicht.
Apache Linkis baut eine Berechnungsmiddleware-Schicht auf, um die Verbindung, Governance und Orchestrierung zwischen den oberen Anwendungen und den zugrunde liegenden Daten-Engines zu erleichtern.
DataSphereStudio ist ein One-Stop-Portal für die Entwicklung und Verwaltung von Datenanwendungen, das Szenarien wie Datenaustausch, Desensibilisierung/Reinigung, Analyse/Mining, Qualitätsmessung, Visualisierung und Task-Scheduling abdeckt.
Eine offene Lakehouse-Engine für Agenten – Postgres-, Vektor- und Python-nativ. Spricht PostgreSQL, läuft auf Ihrem Objektspeicher und ist in Rust geschrieben.
Big Data-Lernen, Big Data von Grund auf lernen, enthält Lernvideos und Bewerbungsmaterialien für jede Phase des Big Data-Lernens
Kubernetes-Operator zur Verwaltung des Lebenszyklus von Apache Spark-Anwendungen auf Kubernetes.
Früheres Lernprojekt: Filmempfehlungen mit Spark, Web Scraping, Webanwendung und Backend. Die neue Version wird unter cinematch-recommender weiterentwickelt.
:herb: Schnelle Lernbeispiele basierend auf Spring Boot, Integration von Open-Source-Frameworks, die ich getroffen habe, wie: RabbitMQ (Verzögerungsqueue), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, MyBatis-Verschlüsselungs-/Entschlüsselungs-Plugin, Ausnahmetreatment, Log-Ausgabe, Multi-Modul-Entwicklung, Multi-Umgebungspaketierung, Cache, Web-Crawler, JWT, GraphQL, Dubbo, Zookeeper und Async usw. :pushpin:
Schnelle, genaue und skalierbare probabilistische Datenverknüpfung mit Unterstützung für mehrere SQL-Backends
✨Spark ist ein webbasiertes, plattformübergreifendes und voll funktionsfähiges Remote Administration Tool (RAT), das in Go geschrieben wurde und es Ihnen ermöglicht, alle Ihre Geräte überall zu steuern. Spark ist ein in Go geschriebenes, webbasiertes, plattformübergreifendes und vielseitiges Fernsteuerungs- und Überwachungstool, mit dem Sie alle Geräte jederzeit und überall steuern und überwachen können.
Apache Kyuubi ist ein verteiltes und Multi-Tenant-Gateway, das serverloses SQL auf Data Warehouses und Lakehouses bereitstellt.
YTsaurus ist eine skalierbare und fehlertolerante Open-Source-Big-Data-Plattform.
Werkzeuge zur Handhabung von Firmwareprodukten von DJI mit Schwerpunkt auf Quadcoptern.
TransmogrifAI (ausgesprochen trăns-mŏgˈrə-fī) ist eine AutoML-Bibliothek zum Erstellen modularer, wiederverwendbarer und stark typisierter Machine-Learning-Workflows auf Apache Spark mit minimalem manuellem Anpassungsaufwand.
Eine einheitliche Schnittstelle für verteiltes Rechnen. Fugue führt SQL-, Python-, Pandas- und Polars-Code auf Spark, Dask und Ray ohne Änderungen aus.
Häufig gestellte Fragen
Welches ist das beliebteste #spark-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#spark-Projekt auf GitHub ist DataTalksClub/data-engineering-zoomcamp mit 46,997 Sternen. Data Engineering Zoomcamp ist ein kostenloser 9-wöchiger Kurs über den Aufbau von produktionsreifen Datenpipelines. Nimm hier am Kurs teil 👇🏼
Welche Programmiersprachen werden in #spark-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #spark-Projekten auf GitHub sind Java, Scala, Python, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #spark-Repositories berechnet?
Wir verfolgen 126 aktive Open-Source-Repositories, die mit #spark getaggt sind (500+ Sterne), mit insgesamt 513,269 Sternen und durchschnittlich 4,073 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.