#spark 저장소
#spark 태그가 지정된 GitHub의 활성 오픈 소스 저장소 126개를 확인해 보세요. 총 513,269개의 스타를 획득했으며 프로젝트당 평균 4,073개입니다. 이 주제를 이끄는 저장소는 46,997개의 스타를 받은 DataTalksClub/data-engineering-zoomcamp입니다.
저장소 총 126개
Data Engineering Zoomcamp는 프로덕션 레디 데이터 파이프라인 구축에 관한 9주 무료 코스입니다. 여기서 코스에 참여하세요 👇🏼
데이터 과학 파이썬 노트북: 딥러닝(TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, 빅데이터(Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, 파이썬 필수, AWS 및 다양한 커맨드 라인.
최신 Docker 컨테이너 기술, 실제 사례에서 베스트 프랙티스를 배워보세요! | Docker&Container 기술을 배우고, 실제 DevOps 실습을 이해하세요!
ChatGPT API 및 다중 LLM을 위한 GUI. 에이전트, 파일 기반 QA, GPT 파인튜닝 및 웹 검색 쿼리를 지원합니다. 깔끔한 UI로 모든 것을 제공합니다.
플링크 학습 블로그. http://www.54tianzhisheng.cn/ Flink 입문, 개념, 원리, 실전, 성능 튜닝, 소스 코드 분석 등의 내용을 포함합니다. Flink Connector, Metrics, Library, DataStream API, Table API & SQL 등의 학습 사례를 다루며, Flink 실제 적용 대형 프로젝트 사례(PVUV, 로그 저장, 100억 데이터 실시간 중복 제거, 모니터링 알림) 공유. 제 칼럼 《빅데이터 실시간 컴퓨팅 엔진 Flink 실전과 성능 최적화》 지원을 환영합니다.
【대기업 면접 전문 코너】 Java 프로그래머가 필요한 기술 가이드, 여기에는 면접 질문, 시스템 아키텍처, 직장 팁, 주요 미들웨어 등이 있으며, 더 멋진 자신으로 성장하세요!
JVM을 사용하여 딥러닝 모델을 배포하고 훈련하기 위한 도구 모음입니다. Keras, TensorFlow 및 ONNX/PyTorch용 모델 가져오기, 수학 코드를 실행하기 위한 모듈식의 작은 C++ 라이브러리, 핵심 C++ 라이브러리 위에 구축된 Java 기반 수학 라이브러리가 포함됩니다. 또한 SameDiff: 딥 러닝 실행을 위한 PyTorch/TensorFlow와 유사한 라이브러리가 포함되어 있습니다...
Spark, PrestoDB, Flink, Trino 및 Hive를 포함한 컴퓨트 엔진과 API를 사용하여 Lakehouse 아키텍처를 구축할 수 있게 하는 오픈 소스 저장 프레임워크
H2O는 오픈 소스, 분산형, 빠르고 확장 가능한 머신러닝 플랫폼입니다: 딥러닝, 그래디언트 부스팅(GBM) & XGBoost, 랜덤 포레스트, 일반화 선형 모델(탄력망 포함 GLM), K-평균, PCA, 일반화 가법 모델(GAM), RuleFit, 서포트 벡터 머신(SVM), 스태킹 앙상블, 자동화 머신러닝(AutoML) 등
cube studio 오픈소스 클라우드 네이티브 올인원 머신러닝/딥러닝/대규모 모델 AI 플랫폼, MLOps 알고리즘 링크 전체 프로세스, 컴퓨팅 파워 대여 플랫폼, 노트북 온라인 개발, 드래그 앤 드롭 작업 흐름 파이프라인 오케스트레이션, 다중 머신 다중 GPU 분산 학습, 하이퍼파라미터 검색, 추론 서비스 VGPU 가상화, 엣지 컴퓨팅, 주석 플랫폼 자동화 주석, Deepseek 등 대규모 모델 SFT 미세 조정/보상 모델/강화 학습 훈련, vLLM/Ollama/MindSpore 등 대규모 모델 다중 머신 추론, 비공개 지식 베이스, AI 모델 마켓, 국산 CPU/GPU/NPU Ascend 생태계 지원, RDMA 지원, PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano 등 분산 지원
Java에서 더 나은 압축 비트셋: Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw 및 기타 여러 곳에서 사용
🔨 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor 기반으로 JSON을 사용하여 구조화된 SQL 문 생성, 프로젝트는 간단함(논리 중시, 페이지 경량)하여 연습에 적합합니다~
Apache Paimon은 스트리밍 및 배치 작업을 위해 Flink 및 Spark를 사용하여 Realtime Lakehouse 아키텍처를 구축할 수 있도록 하는 레이크 형식입니다.
Apache Linkis는 상위 애플리케이션과 하위 데이터 엔진 간의 연결, 거버넌스 및 오케스트레이션을 용이하게 하기 위해 계산 미들웨어 레이어를 구축합니다.
DataSphereStudio는 데이터 애플리케이션 개발 및 관리 포털의 원스톱 솔루션으로, 데이터 교환, 탈감작/정제, 분석/채굴, 품질 측정, 시각화, 작업 스케줄링 등의 시나리오를 포괄합니다.
에이전트를 위한 오픈 레이크하우스 엔진 — Postgres, 벡터, Python을 네이티브로 지원합니다. PostgreSQL을 사용하고, 사용자의 오브젝트 스토리지에서 실행되며, Rust로 작성되었습니다.
과거 학습 프로젝트: Spark 영화 추천, 웹 스크래핑, 웹 앱 및 백엔드. 새 버전은 cinematch-recommender에서 계속 개발 중입니다.
:herb: Spring Boot 기반의 빠른 학습 예제, 직접 경험한 오픈소스 프레임워크 통합, 예: RabbitMQ(지연 큐), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, MyBatis 암호화/복호화 플러그인, 예외 처리, 로그 출력, 멀티 모듈 개발, 멀티 환경 패키징, 캐시 cache, 크롤러, JWT, GraphQL, Dubbo, Zookeeper 및 Async 등 :pushpin:
✨Spark는 Go로 작성된 웹 기반, 크로스 플랫폼 및 풀 기능의 원격 관리 도구(RAT)로, 어디서든 모든 장치를 제어할 수 있습니다. Spark는 Go로 작성된 웹 기반, 크로스 플랫폼 및 다양한 기능을 갖춘 원격 제어 및 모니터링 도구로, 언제 어디서든 모든 장치를 모니터링하고 제어할 수 있습니다.
TransmogrifAI(발음: trăns-mŏgˈrə-fī)는 최소한의 수동 조정으로 Apache Spark에서 모듈식, 재사용 가능, 강력한 유형의 머신 러닝 워크플로우를 구축하기 위한 AutoML 라이브러리입니다.
분산 컴퓨팅을 위한 통합 인터페이스. Fugue는 Spark, Dask 및 Ray에서 SQL, Python, Pandas 및 Polars 코드를 재작성 없이 실행합니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #spark 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #spark 프로젝트는 46,997개의 스타를 받은 DataTalksClub/data-engineering-zoomcamp입니다. Data Engineering Zoomcamp는 프로덕션 레디 데이터 파이프라인 구축에 관한 9주 무료 코스입니다. 여기서 코스에 참여하세요 👇🏼
#spark 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #spark 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Java, Scala, Python, Jupyter Notebook입니다.
#spark 저장소 순위는 어떻게 계산되나요?
#spark 태그가 지정된 활성 오픈 소스 저장소(126개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 513,269개이며 저장소당 평균 4,073개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.