Git Stars Git Stars

#bigdata 저장소

#bigdata 태그가 지정된 GitHub의 활성 오픈 소스 저장소 51개를 확인해 보세요. 총 261,861개의 스타를 획득했으며 프로젝트당 평균 5,134개입니다. 이 주제를 이끄는 저장소는 45,237개의 스타를 받은 DataExpert-io/data-engineer-handbook입니다.

51
총 리포지토리
261,861
총 별점
5,134
리포지토리당 평균 스타 수

저장소 총 51개

1
DataExpert-io/data-engineer-handbook

데이터 엔지니어링에 대해 배우고 싶었던 모든 것에 대한 링크가 있는 저장소입니다.

DataExpert-io
⭐ 45,237 Jupyter Notebook 👤 DataExpert-io Organization 🕐 업데이트됨 2026-08-03 📅 생성됨 2023-11-19
2
rustfs/rustfs

RustFS는 오픈 소스 기반의 S3 호환 고성능 객체 스토리지 시스템으로, MinIO 및 Ceph와 같은 다른 S3 호환 플랫폼과의 마이그레이션 및 공존을 지원합니다.

rustfs
⭐ 36,341 Rust 👤 rustfs Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-11-23
3
taosdata/TDengine

고성능, 확장 가능한 시계열 데이터베이스, 산업 IoT(IIoT) 시나리오를 위해 설계됨

taosdata
⭐ 25,203 C 👤 taosdata Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2019-07-11
4
apache/shardingsphere

분산 SQL을 통해 모든 데이터베이스에서 샤딩, 확장성 및 보안을 위한 데이터 인텔리전스 강화.

apache
⭐ 20,832 Java 👤 apache Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-01-18
5
heibaiying/BigData-Notes

빅데이터 입문 가이드 :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 업데이트됨 2024-01-05 📅 생성됨 2019-03-10
6
juicedata/juicefs

JuiceFS는 Redis와 S3를 기반으로 구축된 분산 POSIX 파일 시스템입니다.

juicedata
⭐ 14,766 Go 👤 juicedata Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-01-08
7
oxnr/awesome-bigdata

멋진 빅데이터 프레임워크, 리소스 및 기타 멋진 것들의 큐레이션 목록입니다.

oxnr
⭐ 14,744 👤 oxnr User 🕐 업데이트됨 2026-11-13 📅 생성됨 2014-07-04
8
databendlabs/databend

데이터 에이전트 준비형 웨어하우스: Analytics, Search, AI, Python Sandbox 전용. — 처음부터 재구성되었습니다. S3 기반 통합 아키텍처.

databendlabs
⭐ 9,502 Rust 👤 databendlabs Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-10-10
9
vaexio/vaex

Python, ML, 시각화 및 빅 테이블 데이터 탐색을 위한 Out-of-Core 하이브리드 Apache Arrow/NumPy DataFrame, 초당 10억 행 처리 🚀

vaexio
⭐ 8,518 Python 👤 vaexio Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2014-09-27
10
apache/hudi

업서트, 삭제 및 빅 데이터에서의 증분 처리.

apache
⭐ 6,387 Java 👤 apache Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-12-14
11
volcano-sh/volcano

클라우드 네이티브 배치 시스템 (CNCF 산하 프로젝트)

volcano-sh
⭐ 6,106 Go 👤 volcano-sh Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2019-03-14
12
iGaoWei/BigDataView

100개 이상의 빅데이터 시각화 쿨 대형 화면 HTML5 템플릿; 포함 산업: 커뮤니티, 부동산 관리, 정부 업무, 교통, 금융 은행 등, 전국에서 가장 새롭고, 가장 많고, 가장 완전하고, 가장 멋지고, 가장 화려한 빅데이터 시각화 템플릿. 순차 업데이트 중

iGaoWei
⭐ 5,352 JavaScript 👤 iGaoWei User 🕐 업데이트됨 2025-10-24 📅 생성됨 2021-07-29
13
DTStack/chunjun

데이터 통합 프레임워크

DTStack
⭐ 4,107 Java 👤 DTStack Organization 🕐 업데이트됨 2026-10-09 📅 생성됨 2018-04-03
14
liyupi/sql-generator

🔨 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor 기반으로 JSON을 사용하여 구조화된 SQL 문 생성, 프로젝트는 간단함(논리 중시, 페이지 경량)하여 연습에 적합합니다~

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 업데이트됨 2024-01-17 📅 생성됨 2022-05-12
15
apache/avro

Apache Avro는 데이터 직렬화 시스템입니다.

apache
⭐ 3,314 Java 👤 apache Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2009-05-21
16
MoRan1607/BigDataGuide

빅데이터 학습, 빅데이터를 제로부터 시작해 배우기, 빅데이터 학습 각 단계의 학습 비디오 및 면접 자료 포함

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 업데이트됨 2026-01-20 📅 생성됨 2019-11-30
17
griddb/griddb

GridDB는 차세대 오픈 소스 데이터베이스로, 시계열 IoT와 빅데이터를 빠르고 쉽게 처리합니다.

griddb
⭐ 2,470 C++ 👤 griddb Organization 🕐 업데이트됨 2026-03-19 📅 생성됨 2016-02-24
18
apconw/Aix-DB

Aix-DB는 LangChain/LangGraph 프레임워크를 기반으로 하고, MCP Skills 다중 에이전트 협업 아키텍처를 결합하여 자연어를 데이터 인사이트로의 엔드투엔드 변환을 구현합니다.

apconw
⭐ 2,268 JavaScript 👤 apconw User 🕐 업데이트됨 2026-11-06 📅 생성됨 2024-11-15
19
dotnet/spark

.NET for Apache® Spark™는 .NET 개발자가 Apache Spark™를 쉽게 사용할 수 있도록 합니다.

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2019-04-22
20
DTStack/flinkStreamSQL

오픈 소스 Flink를 기반으로 실시간 SQL을 확장; 주로 스트림과 차원 테이블의 조인을 구현하며, 네이티브 Flink SQL의 모든 구문을 지원합니다

DTStack
⭐ 2,058 Java 👤 DTStack Organization 🕐 업데이트됨 2024-02-21 📅 생성됨 2018-09-12
21
byzer-org/byzer-lang

Byzer (이전 MLSQL): 데이터 파이프라인, 분석 및 AI를 위한 로우 코드 오픈 소스 프로그래밍 언어.

byzer-org
⭐ 1,849 Scala 👤 byzer-org Organization 🕐 업데이트됨 2024-05-29 📅 생성됨 2016-04-28
22
collabH/bigdata-growth

빅데이터 지식 창고는 데이터 웨어하우스 모델링, 실시간 컴퓨팅, 빅데이터, 데이터 중앙 집중식 플랫폼, 시스템 설계, Java, 알고리즘 등을 포함합니다.

collabH
⭐ 1,838 Python 👤 collabH User 🕐 업데이트됨 2026-04-18 📅 생성됨 2020-06-10
23
Netflix/genie

분산 빅데이터 오케스트레이션 서비스

Netflix
⭐ 1,766 Java 👤 Netflix Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2013-06-20
24
YoongiKim/AutoCrawler

Google, Naver 멀티프로세스 이미지 웹 크롤러 (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 업데이트됨 2026-11-12 📅 생성됨 2018-11-21
25
jadianes/spark-py-notebooks

Apache Spark & Python (pySpark)을 사용한 빅 데이터 분석 및 머신 러닝 튜토리얼, IPython / Jupyter 노트북 형식으로

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 업데이트됨 2024-03-16 📅 생성됨 2015-05-06
26
hi-primus/optimus

:truck: Pandas, Dask, cuDF, Dask-cuDF, Vaex 및 PySpark로 쉽게 만드는 민첩한 데이터 준비 워크플로우

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 업데이트됨 2024-12-02 📅 생성됨 2017-07-13
27
opendatadiscovery/odd-platform

최초의 오픈 소스 데이터 검색 및 관찰 가능성 플랫폼입니다. 데이터 실무자들의 업무를 쉽게 하여 귀하가 비즈니스에 집중할 수 있도록 합니다.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 업데이트됨 2026-10-19 📅 생성됨 2021-07-07
28
apache/celeborn

Apache Celeborn은 셔플 및 유출 데이터에 대한 탄력적이고 고성능 서비스입니다.

apache
⭐ 1,081 Java 👤 apache Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-12-10
29
zeromicro/cds

ClickHouse를 위한 Golang 데이터 동기화.

zeromicro
⭐ 982 Go 👤 zeromicro Organization 🕐 업데이트됨 2025-06-07 📅 생성됨 2020-11-25
30
apache/livy

Apache Livy는 어디서나 Apache Spark와 상호 작용하기 위한 오픈 소스 REST 인터페이스입니다.

apache
⭐ 962 Scala 👤 apache Organization 🕐 업데이트됨 2026-10-20 📅 생성됨 2017-06-25
31
microsoft/Mobius

C#과 F# 언어 바인딩 및 Apache Spark 확장

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 업데이트됨 2025-12-11 📅 생성됨 2015-10-27
32
visualpython/visualpython

데이터 과학을 위한 GUI 기반 Python 코드 생성기, Jupyter Lab, Jupyter Notebook 및 Google Colab 확장팩.

visualpython
⭐ 917 JavaScript 👤 visualpython User 🕐 업데이트됨 2024-07-03 📅 생성됨 2021-05-02
33
pingcap/tispark

TiSpark는 TiDB/TiKV 위에서 Apache Spark를 실행하기 위해 구축되었습니다.

pingcap
⭐ 889 Scala 👤 pingcap Organization 🕐 업데이트됨 2026-08-20 📅 생성됨 2017-05-02
34
intsmaze/flink-boot

Lazy Squirrel Flink-Boot 스캐폴드는 Flink가 Spring 생태계를 완전히 수용할 수 있도록 하여 개발자가 Java WEB 개발 모드로 분산 실행되는 스트림 처리 프로그램을 개발할 수 있도록 합니다. Lazy Squirrel은 전환을 더욱 쉽게 만듭니다. Lazy Squirrel은 개발자가 (분산 컴퓨팅 이론 및 Flink 프레임워크 세부 정보를 이해할 필요 없이) 더 낮은 진입 비용으로 비즈니스 코드를 빠르게 작성하고 구현할 수 있도록 하는 것을 목표로 합니다. Lazy Squirrel 스캐폴드를 사용하여 대규모 프로젝트 개발의 민첩성을 더욱 향상시키기 위해, 이 스캐폴드는 Bean 관리를 위해 Spring 프레임워크를 기본적으로 통합하며, 마이크로서비스 및 WEB 개발 분야에서 자주 사용되는 프레임워크를 통합하여 개발 속도를 더욱 높입니다. 예를 들어 Mybatis ORM 프레임워크, Hibernate Validator 검증 프레임워크, Spring Retry 재시도 프레임워크 등을 통합합니다. 자세한 내용은 아래 스캐폴드 특성을 참조하십시오.

intsmaze
⭐ 827 Java 👤 intsmaze User 🕐 업데이트됨 2024-04-27 📅 생성됨 2020-11-10
35
NationalSecurityAgency/datawave

DataWave는 Apache Accumulo를 활용하여 빠르고 안전한 데이터 액세스를 제공하는 수집/쿼리 프레임워크입니다.

NationalSecurityAgency
⭐ 779 Java 👤 NationalSecurityAgency Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-01-10
36
gearpump/gearpump

Apache Pekko 기반 경량 실시간 빅데이터 스트리밍 엔진

gearpump
⭐ 757 Scala 👤 gearpump Organization 🕐 업데이트됨 2026-11-09 📅 생성됨 2014-07-23
37
MrXujiang/v6.dooring.public

시각화 대시보드 솔루션으로, 시각화 편집 엔진을 제공하여 개인 또는 기업이 자신만의 시각화 대시보드 애플리케이션을 쉽게 맞춤 설정할 수 있도록 지원합니다.

MrXujiang
⭐ 715 TypeScript 👤 MrXujiang User 🕐 업데이트됨 2025-07-06 📅 생성됨 2021-03-08
38
WeBankFinTech/WeDataSphere

WeDataSphere는 금융 등급의 원스톱 빅데이터 플랫폼 제품군입니다.

WeBankFinTech
⭐ 676 👤 WeBankFinTech Organization 🕐 업데이트됨 2024-03-14 📅 생성됨 2019-07-23
39
bigartm/bigartm

빠른 토픽 모델링 플랫폼

bigartm
⭐ 673 C++ 👤 bigartm Organization 🕐 업데이트됨 2026-02-05 📅 생성됨 2014-09-15
40
AbsaOSS/spline

데이터 계보 추적 및 시각화 솔루션

AbsaOSS
⭐ 669 Scala 👤 AbsaOSS Organization 🕐 업데이트됨 2026-11-04 📅 생성됨 2017-05-30
41
unum-cloud/UStore

블롭, 문서 및 그래프를 위한 임베디드 트랜잭션 데이터베이스로, io_uring 및 SPDK를 통한 커널 우회 NVMe, GPU 컴팩션을 지원하며 자체 엔진, RocksDB 및 LevelDB에 공통 C ABI를 제공합니다 🗄️

unum-cloud
⭐ 649 C++ 👤 unum-cloud Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-06-12
42
gangly/datafaker

Datafaker는 대규모 테스트 데이터 및 흐름 테스트 데이터 생성 도구입니다. Datafaker는 데이터를 위조하여 다양한 데이터 소스에 삽입합니다. 테스트 데이터 생성 도구

gangly
⭐ 643 Python 👤 gangly User 🕐 업데이트됨 2026-04-04 📅 생성됨 2019-03-26
43
marmotdata/marmot

회사를 위한 오픈소스 지식 허브. Marmot은 데이터의 의미를 파악하고, 데이터 사용 권한을 관리하며, 직원과 에이전트가 보내는 모든 쿼리를 검증하고 기록한 뒤 실행합니다. 카탈로그, 데이터 계보, 거버넌스가 적용된 SQL, MCP 서버를 하나의 Go 바이너리로 제공합니다.

marmotdata
⭐ 639 Go 👤 marmotdata Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-03-12
44
minio/sidekick

고성능 HTTP 사이드카 로드 밸런서

minio
⭐ 585 Go 👤 minio Organization 🕐 업데이트됨 2025-07-14 📅 생성됨 2020-03-05
45
achtungsoftware/alarik

속도에 중점을 두고 MinIO 및 RustFS의 공개 대안으로 설계된 고성능 분산 S3 호환 객체 스토리지.

achtungsoftware
⭐ 584 Swift 👤 achtungsoftware Organization 🕐 업데이트됨 2026-09-19 📅 생성됨 2025-12-06
46
ganweisoft/TOMs

TOMs는 완전한 오픈 소스, 고성능, 체계적, 플러그인 지향, 시나리오 불가지 범용 개발 프레임워크입니다.

ganweisoft
⭐ 581 CSS 👤 ganweisoft Organization 🕐 업데이트됨 2025-12-04 📅 생성됨 2025-06-11
47
mvillarrealb/docker-spark-cluster

테스트 환경 목적을 위한 간단한 Spark 독립 클러스터

mvillarrealb
⭐ 570 Dockerfile 👤 mvillarrealb User 🕐 업데이트됨 2024-03-06 📅 생성됨 2018-09-23
48
leesf/hudi-resources

Apache Hudi 관련 자료 요약

leesf
⭐ 554 👤 leesf User 🕐 업데이트됨 2026-03-31 📅 생성됨 2019-12-11
49
zhaoyachao/zdh_web

빅데이터 수집, 추출 플랫폼, zdh_web은 zdh 시리즈 서비스의 시각화 관리 플랫폼으로, 데이터 수집, 스케줄링, 권한, 승인 흐름, 사설 도메인 마케팅 등의 모듈을 포함합니다

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 업데이트됨 2026-06-07 📅 생성됨 2020-02-03
50
nicgirault/circosJS

원형 그래프를 구축하기 위한 d3 라이브러리

nicgirault
⭐ 534 JavaScript 👤 nicgirault User 🕐 업데이트됨 2026-01-23 📅 생성됨 2014-11-28

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #bigdata 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #bigdata 프로젝트는 45,237개의 스타를 받은 DataExpert-io/data-engineer-handbook입니다. 데이터 엔지니어링에 대해 배우고 싶었던 모든 것에 대한 링크가 있는 저장소입니다.

2

#bigdata 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #bigdata 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Java, Go, Python, Scala입니다.

3

#bigdata 저장소 순위는 어떻게 계산되나요?

#bigdata 태그가 지정된 활성 오픈 소스 저장소(51개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 261,861개이며 저장소당 평균 5,134개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.