#bigdata 저장소
#bigdata 태그가 지정된 GitHub의 활성 오픈 소스 저장소 51개를 확인해 보세요. 총 261,861개의 스타를 획득했으며 프로젝트당 평균 5,134개입니다. 이 주제를 이끄는 저장소는 45,237개의 스타를 받은 DataExpert-io/data-engineer-handbook입니다.
저장소 총 51개
RustFS는 오픈 소스 기반의 S3 호환 고성능 객체 스토리지 시스템으로, MinIO 및 Ceph와 같은 다른 S3 호환 플랫폼과의 마이그레이션 및 공존을 지원합니다.
데이터 에이전트 준비형 웨어하우스: Analytics, Search, AI, Python Sandbox 전용. — 처음부터 재구성되었습니다. S3 기반 통합 아키텍처.
Python, ML, 시각화 및 빅 테이블 데이터 탐색을 위한 Out-of-Core 하이브리드 Apache Arrow/NumPy DataFrame, 초당 10억 행 처리 🚀
100개 이상의 빅데이터 시각화 쿨 대형 화면 HTML5 템플릿; 포함 산업: 커뮤니티, 부동산 관리, 정부 업무, 교통, 금융 은행 등, 전국에서 가장 새롭고, 가장 많고, 가장 완전하고, 가장 멋지고, 가장 화려한 빅데이터 시각화 템플릿. 순차 업데이트 중
🔨 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor 기반으로 JSON을 사용하여 구조화된 SQL 문 생성, 프로젝트는 간단함(논리 중시, 페이지 경량)하여 연습에 적합합니다~
Aix-DB는 LangChain/LangGraph 프레임워크를 기반으로 하고, MCP Skills 다중 에이전트 협업 아키텍처를 결합하여 자연어를 데이터 인사이트로의 엔드투엔드 변환을 구현합니다.
오픈 소스 Flink를 기반으로 실시간 SQL을 확장; 주로 스트림과 차원 테이블의 조인을 구현하며, 네이티브 Flink SQL의 모든 구문을 지원합니다
빅데이터 지식 창고는 데이터 웨어하우스 모델링, 실시간 컴퓨팅, 빅데이터, 데이터 중앙 집중식 플랫폼, 시스템 설계, Java, 알고리즘 등을 포함합니다.
Apache Spark & Python (pySpark)을 사용한 빅 데이터 분석 및 머신 러닝 튜토리얼, IPython / Jupyter 노트북 형식으로
최초의 오픈 소스 데이터 검색 및 관찰 가능성 플랫폼입니다. 데이터 실무자들의 업무를 쉽게 하여 귀하가 비즈니스에 집중할 수 있도록 합니다.
데이터 과학을 위한 GUI 기반 Python 코드 생성기, Jupyter Lab, Jupyter Notebook 및 Google Colab 확장팩.
Lazy Squirrel Flink-Boot 스캐폴드는 Flink가 Spring 생태계를 완전히 수용할 수 있도록 하여 개발자가 Java WEB 개발 모드로 분산 실행되는 스트림 처리 프로그램을 개발할 수 있도록 합니다. Lazy Squirrel은 전환을 더욱 쉽게 만듭니다. Lazy Squirrel은 개발자가 (분산 컴퓨팅 이론 및 Flink 프레임워크 세부 정보를 이해할 필요 없이) 더 낮은 진입 비용으로 비즈니스 코드를 빠르게 작성하고 구현할 수 있도록 하는 것을 목표로 합니다. Lazy Squirrel 스캐폴드를 사용하여 대규모 프로젝트 개발의 민첩성을 더욱 향상시키기 위해, 이 스캐폴드는 Bean 관리를 위해 Spring 프레임워크를 기본적으로 통합하며, 마이크로서비스 및 WEB 개발 분야에서 자주 사용되는 프레임워크를 통합하여 개발 속도를 더욱 높입니다. 예를 들어 Mybatis ORM 프레임워크, Hibernate Validator 검증 프레임워크, Spring Retry 재시도 프레임워크 등을 통합합니다. 자세한 내용은 아래 스캐폴드 특성을 참조하십시오.
DataWave는 Apache Accumulo를 활용하여 빠르고 안전한 데이터 액세스를 제공하는 수집/쿼리 프레임워크입니다.
시각화 대시보드 솔루션으로, 시각화 편집 엔진을 제공하여 개인 또는 기업이 자신만의 시각화 대시보드 애플리케이션을 쉽게 맞춤 설정할 수 있도록 지원합니다.
블롭, 문서 및 그래프를 위한 임베디드 트랜잭션 데이터베이스로, io_uring 및 SPDK를 통한 커널 우회 NVMe, GPU 컴팩션을 지원하며 자체 엔진, RocksDB 및 LevelDB에 공통 C ABI를 제공합니다 🗄️
Datafaker는 대규모 테스트 데이터 및 흐름 테스트 데이터 생성 도구입니다. Datafaker는 데이터를 위조하여 다양한 데이터 소스에 삽입합니다. 테스트 데이터 생성 도구
회사를 위한 오픈소스 지식 허브. Marmot은 데이터의 의미를 파악하고, 데이터 사용 권한을 관리하며, 직원과 에이전트가 보내는 모든 쿼리를 검증하고 기록한 뒤 실행합니다. 카탈로그, 데이터 계보, 거버넌스가 적용된 SQL, MCP 서버를 하나의 Go 바이너리로 제공합니다.
빅데이터 수집, 추출 플랫폼, zdh_web은 zdh 시리즈 서비스의 시각화 관리 플랫폼으로, 데이터 수집, 스케줄링, 권한, 승인 흐름, 사설 도메인 마케팅 등의 모듈을 포함합니다
자주 묻는 질문
GitHub에서 가장 인기 있는 #bigdata 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #bigdata 프로젝트는 45,237개의 스타를 받은 DataExpert-io/data-engineer-handbook입니다. 데이터 엔지니어링에 대해 배우고 싶었던 모든 것에 대한 링크가 있는 저장소입니다.
#bigdata 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #bigdata 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Java, Go, Python, Scala입니다.
#bigdata 저장소 순위는 어떻게 계산되나요?
#bigdata 태그가 지정된 활성 오픈 소스 저장소(51개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 261,861개이며 저장소당 평균 5,134개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.