#big-data Repositories
Entdecke 133 aktive Open-Source-GitHub-Repositories, die mit #big-data getaggt sind und insgesamt 683,600 Sterne gesammelt haben (durchschnittlich 5,139 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist binhnguyennus/awesome-scalability mit 75,924 Sternen.
Insgesamt 133 Repositories
Die Muster skalierbarer, zuverlässiger und performanter Großer Systeme
Apache Spark – Eine einheitliche Analyse-Engine für die Verarbeitung großer Datenmengen
Python-Notebooks für Data Science: Deep Learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, Big Data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, Python-Grundlagen, AWS und verschiedene Befehlszeilen.
All-in-One-IoT-Plattform – Geräteverwaltung, Datenerfassung, -verarbeitung und -visualisierung.
Offizielles Repository von Trino, dem verteilten SQL-Abfrage-Engine für Big Data, ehemals bekannt als PrestoSQL (https://trino.io)
Eine verteilte, schnelle Open-Source-Graph-Datenbank mit horizontaler Skalierbarkeit und hoher Verfügbarkeit
Die weltweit schnellste Open-Query-Engine für Analysen in Millisekunden, sowohl im als auch außerhalb des Data Lakehouse. Mit der Flexibilität, nahezu jedes Szenario zu unterstützen, bietet StarRocks eine erstklassige Leistung für multidimensionale Analysen, Echtzeitanalysen und Ad-hoc-Abfragen. Ein Projekt der Linux Foundation.
Eine schnelle, skalierbare, hochperformante Gradient Boosting on Decision Trees Bibliothek, die für Ranking, Klassifikation, Regression und andere Machine-Learning-Aufgaben für Python, R, Java, C++ verwendet wird. Unterstützt Berechnungen auf CPU und GPU.
Ein Open-Source-Speicherframework, das den Aufbau einer Lakehouse-Architektur mit Compute-Engines wie Spark, PrestoDB, Flink, Trino und Hive sowie APIs ermöglicht
Apache Beam ist ein einheitliches Programmiermodell für die Verarbeitung von Batch- und Streaming-Daten.
Arkime ist ein Open-Source-System in großem Maßstab für die vollständige Paketaufzeichnung, Indizierung und Datenbank.
H2O ist eine Open-Source-, verteilte, schnelle und skalierbare Machine-Learning-Plattform: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM mit Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML) usw.
Nahtlose Multi-Primary-Sync-Datenbank mit intuitiver HTTP/JSON-API, für Zuverlässigkeit konzipiert
Web-basiertes Notebook, das datengetriebene, interaktive Datenanalysen und kollaborative Dokumente mit SQL, Scala und mehr ermöglicht.
Hazelcast ist eine einheitliche Echtzeit-Datenplattform, die Stream-Verarbeitung mit einem schnellen Datenspeicher kombiniert und Kunden ermöglicht, sofort auf Daten im Fluss zu reagieren, um Echtzeit-Einblicke zu gewinnen.
Open-Source-, verteilte, einfache und schnelle, effiziente Text-/Vektor-Suchmaschine in Go
Hochleistungs-Daten-Engine für KI und multimodale Workloads. Verarbeiten Sie Bilder, Audio, Video und strukturierte Daten in beliebigem Umfang.
Einfache und verteilte Machine-Learning-Python-Bibliothek zur Portierung von ML-Algorithmen für Spark
Stream Framework ist eine Python-Bibliothek, die es Ihnen ermöglicht, Newsfeeds, Aktivitäts-Streams und Benachrichtigungssysteme mithilfe von Cassandra und/oder Redis zu erstellen. Die Autoren von Stream-Framework bieten auch einen Cloud-Service für Feed-Technologie an:
⚡️ Ein Vue-Komponent, das große Datenmengen-Listen mit hoher Render-Leistung und Effizienz unterstützt.
Wandeln Sie problemlos große Mengen von Bild-URLs in einen Bilddatensatz um. Kann 100 Millionen URLs in 20 Stunden auf einer Maschine herunterladen, skalieren und verpacken.
CrateDB ist eine verteilte und skalierbare SQL-Datenbank zur Speicherung und Analyse massiver Datenmengen in Echtzeit-Nähe, sogar mit komplexen Abfragen. Sie ist PostgreSQL-kompatibel und basiert auf Lucene.
🔨 🍇 💻 🚀 GraphScope: Ein umfassendes System für groß angelegte Graphberechnungen von Alibaba | Ein umfassendes System für Graphberechnungen
Drop-in-Ersatz für Apache Spark, geschrieben in Rust, der Batch-Verarbeitung, Stream-Verarbeitung und rechenintensive KI-Workloads vereint.
Apache Paimon ist ein Lake-Format, das den Aufbau einer Realtime-Lakehouse-Architektur mit Flink und Spark für Streaming- und Batch-Operationen ermöglicht.
Eine Graph-Datenbank, die mehr als 100 Milliarden Daten unterstützt, hohe Leistung und Skalierbarkeit (Inklusive OLTP-Engine & REST-API & Backends)
Eine einfach zu bedienende, selbstbedienende offene BI-Berichts- und BI-Dashboard-Plattform.
Häufig gestellte Fragen
Welches ist das beliebteste #big-data-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#big-data-Projekt auf GitHub ist binhnguyennus/awesome-scalability mit 75,924 Sternen. Die Muster skalierbarer, zuverlässiger und performanter Großer Systeme
Welche Programmiersprachen werden in #big-data-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #big-data-Projekten auf GitHub sind Java, Python, Rust, C++ die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #big-data-Repositories berechnet?
Wir verfolgen 133 aktive Open-Source-Repositories, die mit #big-data getaggt sind (500+ Sterne), mit insgesamt 683,600 Sternen und durchschnittlich 5,139 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.