#model-serving 저장소
#model-serving 태그가 지정된 GitHub의 활성 오픈 소스 저장소 51개를 확인해 보세요. 총 211,758개의 스타를 획득했으며 프로젝트당 평균 4,152개입니다. 이 주제를 이끄는 저장소는 97,302개의 스타를 받은 vllm-project/vllm입니다.
저장소 총 51개
사용 중인 k8s에서 에이전트, ML 파이프라인, 실시간 추론을 타입 안전하게 분산 오케스트레이션하세요 — async/await를 사용하는 순수 Python과 다른 언어(Rust, Go, TypeScript) 지원
LightLLM은 경량 설계, 쉬운 확장성 및 고속 성능으로 주목받는 LLM(대규모 언어 모델) 추론 및 서빙을 위한 Python 기반 프레임워크입니다.
🚀 머신 러닝을 위한 멋진 시스템 ⚡️ AI 시스템 논문 및 산업 실무. ⚡️ 머신 러닝 시스템, LLM (대형 언어 모델), GenAI (생성 AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys 등. 🗃️ Llama3, Mistral 등. 🧑💻 비디오 튜토리얼.
FEDML – 대규모 분산 학습, 모델 서빙 및 연합 학습을 위한 통합되고 확장 가능한 ML 라이브러리입니다. 크로스 클라우드 스케줄러인 FEDML Launch는 모든 GPU 클라우드 또는 온프레미스 클러스터에서 모든 AI 작업을 실행할 수 있도록 지원합니다. 이 라이브러리를 기반으로 구축된 TensorOpera AI(https://TensorOpera.ai)는 대규모 생성형 AI 플랫폼입니다.
MLRun은 오픈 소스 MLOps 플랫폼으로, ML 애플리케이션의 라이프사이클 전반에 걸쳐 지속적인 ML 애플리케이션을 빠르게 구축하고 관리할 수 있습니다. MLRun은 개발 및 CI/CD 환경에 통합되어 프로덕션 데이터, ML 파이프라인 및 온라인 애플리케이션의 배포를 자동화합니다.
개방형 의사결정 모델을 위한 Jev 호환 API 서버. 의사결정 모델용 Ollama: 29개 모델 계열(Laya, pplx-decider, Clef, Winnow, coba 등)을 로컬에서 내려받아 실행하거나 /v1/systemone 뒤에서 직접 호스팅할 수 있습니다. TypeSafe SDK는 변경 없이 사용할 수 있습니다. 기본 URL을 설정하고 개방형 모델을 선택하세요. CLI, 데스크톱 앱, Docker, MCP 서버, 공개 벤치마크 제공.
순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원
Ollama: 고전 ML 모델용. XGBoost, LightGBM, scikit-learn, CatBoost 및 ONNX 모델을 네이티브 C99 추론 코드로 변환하는 AOT 컴파일러. 로드 한 명령어, 서빙 한 명령어. Python 추론보다 336배 빠름.
자주 묻는 질문
GitHub에서 가장 인기 있는 #model-serving 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #model-serving 프로젝트는 97,302개의 스타를 받은 vllm-project/vllm입니다. LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진
#model-serving 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #model-serving 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, Rust, Jupyter Notebook입니다.
#model-serving 저장소 순위는 어떻게 계산되나요?
#model-serving 태그가 지정된 활성 오픈 소스 저장소(51개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 211,758개이며 저장소당 평균 4,152개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.