Git Stars Git Stars

#bigdata Repositories

Entdecke 51 aktive Open-Source-GitHub-Repositories, die mit #bigdata getaggt sind und insgesamt 261,861 Sterne gesammelt haben (durchschnittlich 5,134 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist DataExpert-io/data-engineer-handbook mit 45,237 Sternen.

51
Gesamtzahl der Repositories
261,861
Gesamtanzahl der Sterne
5,134
Durchschnittliche Sterne/Repo

Insgesamt 51 Repositories

1
DataExpert-io/data-engineer-handbook

Dies ist ein Repository mit Links zu allem, was Sie jemals über Data Engineering lernen möchten

DataExpert-io
⭐ 45,237 Jupyter Notebook 👤 DataExpert-io Organization 🕐 Aktualisiert 2026-08-03 📅 Erstellt 2023-11-19
2
rustfs/rustfs

RustFS ist ein leistungsstarkes, quelloffenes und S3-kompatibles Objektspeichersystem, das Migration und Koexistenz mit anderen S3-kompatiblen Plattformen wie MinIO und Ceph unterstützt.

rustfs
⭐ 36,341 Rust 👤 rustfs Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-11-23
3
taosdata/TDengine

High-Performance, skalierbare Zeitreihendatenbank, die für Industrial IoT (IIoT)-Szenarien konzipiert ist

taosdata
⭐ 25,203 C 👤 taosdata Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2019-07-11
4
apache/shardingsphere

Data Intelligence mit Distributed SQL für Sharding, Skalierbarkeit und Sicherheit in allen Datenbanken stärken.

apache
⭐ 20,832 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-01-18
5
heibaiying/BigData-Notes

Einführung in Big Data :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 Aktualisiert 2024-01-05 📅 Erstellt 2019-03-10
6
juicedata/juicefs

JuiceFS ist ein verteiltes POSIX-Dateisystem, das auf Redis und S3 aufbaut.

juicedata
⭐ 14,766 Go 👤 juicedata Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-01-08
7
oxnr/awesome-bigdata

Eine kuratierte Liste von großartigen Big-Data-Frameworks, Ressourcen und anderen großartigen Dingen.

oxnr
⭐ 14,744 👤 oxnr User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2014-07-04
8
databendlabs/databend

Data Agent Ready Warehouse: Eines für Analytics, Suche, KI, Python Sandbox. — von Grund auf neu gebaut. Einheitliche Architektur auf Ihrem S3.

databendlabs
⭐ 9,502 Rust 👤 databendlabs Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-10-10
9
vaexio/vaex

Out-of-Core Hybrid-Apache-Arrow/NumPy-DataFrame für Python, ML, Visualisierung und Exploration großer tabellarischer Daten mit einer Milliarde Zeilen pro Sekunde 🚀

vaexio
⭐ 8,518 Python 👤 vaexio Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2014-09-27
10
apache/hudi

Upserts, Löschungen und inkrementelle Verarbeitung bei Big Data.

apache
⭐ 6,387 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-12-14
11
volcano-sh/volcano

Ein Cloud Native Batch-System (Projekt unter CNCF)

volcano-sh
⭐ 6,106 Go 👤 volcano-sh Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2019-03-14
12
iGaoWei/BigDataView

100+ Sätze von Big-Data-Visualisierungs-Cool-Large-Screen-Html5-Vorlagen; Enthaltene Branchen: Community, Eigentumsverwaltung, Regierung, Transport, Finanzinstitute usw. Die neuesten, umfangreichsten, vollständigsten, coolsten und auffälligsten Big-Data-Visualisierungsvorlagen im gesamten Netzwerk. Aktualisierung folgt.

iGaoWei
⭐ 5,352 JavaScript 👤 iGaoWei User 🕐 Aktualisiert 2025-10-24 📅 Erstellt 2021-07-29
13
DTStack/chunjun

Ein Datenintegrationsframework

DTStack
⭐ 4,107 Java 👤 DTStack Organization 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2018-04-03
14
liyupi/sql-generator

🔨 Generieren Sie mit JSON strukturierte SQL-Anweisungen, basierend auf Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, das Projekt ist einfach (starke Logik, leichte Seiten), gut zum Üben geeignet~

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 Aktualisiert 2024-01-17 📅 Erstellt 2022-05-12
15
apache/avro

Apache Avro ist ein Daten-Serialisierungssystem.

apache
⭐ 3,314 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2009-05-21
16
MoRan1607/BigDataGuide

Big Data-Lernen, Big Data von Grund auf lernen, enthält Lernvideos und Bewerbungsmaterialien für jede Phase des Big Data-Lernens

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 Aktualisiert 2026-01-20 📅 Erstellt 2019-11-30
17
griddb/griddb

GridDB ist eine Open-Source-Datenbank der nächsten Generation, die Time-Series-IoT und Big Data schnell und einfach macht.

griddb
⭐ 2,470 C++ 👤 griddb Organization 🕐 Aktualisiert 2026-03-19 📅 Erstellt 2016-02-24
18
apconw/Aix-DB

Aix-DB, basierend auf dem LangChain/LangGraph-Framework und kombiniert mit der MCP Skills Multi-Agenten-Kollaborationsarchitektur, ermöglicht die End-to-End-Umwandlung von natürlicher Sprache in Dateninsights.

apconw
⭐ 2,268 JavaScript 👤 apconw User 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2024-11-15
19
dotnet/spark

.NET for Apache® Spark™ macht Apache Spark™ für .NET-Entwickler leicht zugänglich.

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2019-04-22
20
DTStack/flinkStreamSQL

Basierend auf dem Open-Source-Flink erweitert es sein Echtzeit-SQL; implementiert hauptsächlich den Join zwischen Streams und Dimensions-Tabellen und unterstützt die gesamte Syntax des nativen Flink SQL

DTStack
⭐ 2,058 Java 👤 DTStack Organization 🕐 Aktualisiert 2024-02-21 📅 Erstellt 2018-09-12
21
byzer-org/byzer-lang

Byzer (ehemals MLSQL): Eine Low-Code-Open-Source-Programmiersprache für Datenpipelines, Analysen und KI.

byzer-org
⭐ 1,849 Scala 👤 byzer-org Organization 🕐 Aktualisiert 2024-05-29 📅 Erstellt 2016-04-28
22
collabH/bigdata-growth

Das Big-Data-Wissensrepository umfasst Data-Warehouse-Modellierung, Echtzeitberechnung, Big Data, Daten-Mittelplattform, Systemdesign, Java, Algorithmen usw.

collabH
⭐ 1,838 Python 👤 collabH User 🕐 Aktualisiert 2026-04-18 📅 Erstellt 2020-06-10
23
Netflix/genie

Verteiltes Big-Data-Orchestrierungsservice

Netflix
⭐ 1,766 Java 👤 Netflix Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2013-06-20
24
YoongiKim/AutoCrawler

Google, Naver Mehrprozess-Image-Web-Crawler (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2018-11-21
25
jadianes/spark-py-notebooks

Apache Spark & Python (pySpark) Tutorials für Big Data Analysis und Machine Learning als IPython / Jupyter Notebooks

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 Aktualisiert 2024-03-16 📅 Erstellt 2015-05-06
26
hi-primus/optimus

:truck: Agile Data Preparation Workflows leicht gemacht mit Pandas, Dask, cuDF, Dask-cuDF, Vaex und PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Aktualisiert 2024-12-02 📅 Erstellt 2017-07-13
27
opendatadiscovery/odd-platform

Die erste Open-Source-Plattform für Datenentdeckung und Observability. Wir erleichtern den Data Practitioners das Leben, damit Sie sich auf Ihr Geschäft konzentrieren können.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2021-07-07
28
apache/celeborn

Apache Celeborn ist ein elastischer und leistungsstarker Dienst für Shuffle- und Spill-Daten.

apache
⭐ 1,081 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-12-10
29
zeromicro/cds

Datensynchronisierung in Golang für ClickHouse.

zeromicro
⭐ 982 Go 👤 zeromicro Organization 🕐 Aktualisiert 2025-06-07 📅 Erstellt 2020-11-25
30
apache/livy

Apache Livy ist eine Open-Source-REST-Schnittstelle zur Interaktion mit Apache Spark von überall aus.

apache
⭐ 962 Scala 👤 apache Organization 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2017-06-25
31
microsoft/Mobius

C#- und F#-Sprachschnittstellen und Erweiterungen für Apache Spark

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 Aktualisiert 2025-12-11 📅 Erstellt 2015-10-27
32
visualpython/visualpython

GUI-basierter Python-Code-Generator für Data Science, Erweiterung für Jupyter Lab, Jupyter Notebook und Google Colab.

visualpython
⭐ 917 JavaScript 👤 visualpython User 🕐 Aktualisiert 2024-07-03 📅 Erstellt 2021-05-02
33
pingcap/tispark

TiSpark ist dafür konzipiert, Apache Spark auf TiDB/TiKV auszuführen.

pingcap
⭐ 889 Scala 👤 pingcap Organization 🕐 Aktualisiert 2026-08-20 📅 Erstellt 2017-05-02
34
intsmaze/flink-boot

Das Lazy Squirrel Flink-Boot-Gerüst ermöglicht es Flink, das Spring-Ökosystem vollständig zu nutzen, sodass Entwickler verteilte Stream-Processing-Programme mit dem Java-WEB-Entwicklungsmodus entwickeln können. Lazy Squirrel macht den Übergang einfacher. Lazy Squirrel zielt darauf ab, Entwicklern zu ermöglichen, schnell Geschäftslogik zu schreiben und zu implementieren, mit geringeren Eintrittshürden (ohne die Theorie der verteilten Berechnung und die Details des Flink-Frameworks verstehen zu müssen). Um die Agilität der Entwicklung großer Projekte mit dem Lazy Squirrel-Gerüst weiter zu verbessern, integriert das Gerüst standardmäßig das Spring-Framework für die Bean-Verwaltung und integriert gleichzeitig häufig verwendete Frameworks aus den Bereichen Microservices und WEB-Entwicklung, um die Entwicklungsgeschwindigkeit weiter zu erhöhen. Zum Beispiel die Integration des Mybatis ORM-Frameworks, des Hibernate Validator Validierungsframeworks, des Spring Retry Retry-Frameworks usw. Einzelheiten finden Sie in den Gerüstmerkmalen unten.

intsmaze
⭐ 827 Java 👤 intsmaze User 🕐 Aktualisiert 2024-04-27 📅 Erstellt 2020-11-10
35
NationalSecurityAgency/datawave

DataWave ist ein Ingest/Query-Framework, das Apache Accumulo nutzt, um schnellen, sicheren Datenzugriff bereitzustellen.

NationalSecurityAgency
⭐ 779 Java 👤 NationalSecurityAgency Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-01-10
36
gearpump/gearpump

Leichtgewichtige Echtzeit-Big-Data-Streaming-Engine auf Basis von Apache Pekko

gearpump
⭐ 757 Scala 👤 gearpump Organization 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2014-07-23
37
MrXujiang/v6.dooring.public

Visualisierungs-Dashboard-Lösung, die eine visuelle Bearbeitungs-Engine bereitstellt, um Einzelpersonen oder Unternehmen dabei zu unterstützen, ihre eigenen benutzerdefinierten Visualisierungs-Dashboard-Anwendungen zu erstellen.

MrXujiang
⭐ 715 TypeScript 👤 MrXujiang User 🕐 Aktualisiert 2025-07-06 📅 Erstellt 2021-03-08
38
WeBankFinTech/WeDataSphere

WeDataSphere ist eine financial-grade, one-stop Big-Data-Plattform-Suite.

WeBankFinTech
⭐ 676 👤 WeBankFinTech Organization 🕐 Aktualisiert 2024-03-14 📅 Erstellt 2019-07-23
39
bigartm/bigartm

Schnelle Topic-Modelling-Plattform

bigartm
⭐ 673 C++ 👤 bigartm Organization 🕐 Aktualisiert 2026-02-05 📅 Erstellt 2014-09-15
40
AbsaOSS/spline

Data-Lineage-Tracking- und Visualisierungslösung

AbsaOSS
⭐ 669 Scala 👤 AbsaOSS Organization 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2017-05-30
41
unum-cloud/UStore

Eingebettete transaktionale Datenbank für Blobs, Dokumente und Graphen – mit Kernel-Bypass für NVMe über io_uring und SPDK, GPU-Komprimierung sowie einer einheitlichen C-ABI für die eigenen Engines, RocksDB und LevelDB 🗄️

unum-cloud
⭐ 649 C++ 👤 unum-cloud Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-06-12
42
gangly/datafaker

Datafaker ist ein Tool zur Generierung von Testdaten in großem Maßstab und Flusstestdaten. Datafaker erzeugt gefälschte Daten und fügt sie in verschiedene Datenquellen ein. Testdaten-Generierungstool

gangly
⭐ 643 Python 👤 gangly User 🕐 Aktualisiert 2026-04-04 📅 Erstellt 2019-03-26
43
marmotdata/marmot

Das Open-Source-Wissenszentrum für Ihr Unternehmen. Marmot versteht die Bedeutung Ihrer Daten, regelt, wer sie nutzen darf, und führt jede Abfrage Ihrer Mitarbeitenden und Agenten aus – geprüft und protokolliert. Katalog, Datenherkunft, gesteuertes SQL und ein MCP-Server in einer einzigen Go-Binärdatei.

marmotdata
⭐ 639 Go 👤 marmotdata Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-03-12
44
minio/sidekick

Hochleistungs-HTTP-Sidecar-Lastverteiler

minio
⭐ 585 Go 👤 minio Organization 🕐 Aktualisiert 2025-07-14 📅 Erstellt 2020-03-05
45
achtungsoftware/alarik

Hochleistungsfähiger verteilter S3-kompatibler Objektspeicher, der auf Geschwindigkeit ausgerichtet ist und als offene Alternative zu MinIO und RustFS konzipiert wurde.

achtungsoftware
⭐ 584 Swift 👤 achtungsoftware Organization 🕐 Aktualisiert 2026-09-19 📅 Erstellt 2025-12-06
46
ganweisoft/TOMs

TOMs ist ein vollständig Open-Source-, Hochleistungs-, systematischer, Plugin-orientierter und Szenario-agnostischer Allzweck-Entwicklungsrahmen.

ganweisoft
⭐ 581 CSS 👤 ganweisoft Organization 🕐 Aktualisiert 2025-12-04 📅 Erstellt 2025-06-11
47
mvillarrealb/docker-spark-cluster

Ein einfacher Spark-Standalone-Cluster für Zwecke Ihrer Testumgebung

mvillarrealb
⭐ 570 Dockerfile 👤 mvillarrealb User 🕐 Aktualisiert 2024-03-06 📅 Erstellt 2018-09-23
48
leesf/hudi-resources

Zusammenfassung von Apache Hudi-bezogenen Materialien

leesf
⭐ 554 👤 leesf User 🕐 Aktualisiert 2026-03-31 📅 Erstellt 2019-12-11
49
zhaoyachao/zdh_web

Big Data Erfassung, Extraktionsplattform, zdh_web ist die visuelle Managementplattform für die zdh-Services, die Module wie Datenaufnahme, Scheduling, Berechtigungen, Genehmigungsworkflow, Private-Domain-Marketing usw. enthält

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 Aktualisiert 2026-06-07 📅 Erstellt 2020-02-03
50
nicgirault/circosJS

d3-Bibliothek zum Erstellen von Kreisdiagrammen

nicgirault
⭐ 534 JavaScript 👤 nicgirault User 🕐 Aktualisiert 2026-01-23 📅 Erstellt 2014-11-28

Häufig gestellte Fragen

1

Welches ist das beliebteste #bigdata-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#bigdata-Projekt auf GitHub ist DataExpert-io/data-engineer-handbook mit 45,237 Sternen. Dies ist ein Repository mit Links zu allem, was Sie jemals über Data Engineering lernen möchten

2

Welche Programmiersprachen werden in #bigdata-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #bigdata-Projekten auf GitHub sind Java, Go, Python, Scala die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #bigdata-Repositories berechnet?

Wir verfolgen 51 aktive Open-Source-Repositories, die mit #bigdata getaggt sind (500+ Sterne), mit insgesamt 261,861 Sternen und durchschnittlich 5,134 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.