#inference-server 저장소
#inference-server 태그가 지정된 GitHub의 활성 오픈 소스 저장소 13개를 확인해 보세요. 총 53,014개의 스타를 획득했으며 프로젝트당 평균 4,078개입니다. 이 주제를 이끄는 저장소는 23,831개의 스타를 받은 jundot/omlx입니다.
저장소 총 13개
⚡ 순수 Rust 기반 WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브 지원, 모든 GPU에서 실행 가능. Python 불필요. llama.cpp 불필요. 단일 바이너리.
Rapid-MLX는 Apple Silicon용 오픈 소스(Apache 2.0) LLM 추론 서버로, OpenAI 및 Anthropic과 호환되며 MLX를 기반으로 구축되었습니다. 코딩 에이전트를 위한 안정적인 도구 호출에 중점을 둡니다. 동일한 가중치를 사용할 때 Apple의 MLX(mlx-lm)보다 최대 4배 빠릅니다.
RamaLama는 모든 소스의 AI 모델을 로컬에서 제공하는 것을 단순화하고 컨테이너라는 친숙한 언어를 통해 프로덕션에서 추론에 사용하도록 지원하는 오픈 소스 개발 도구입니다.
Apple Silicon용 고성능 OpenAI 및 Anthropic 호환 LLM 추론 서버. 네이티브 MLX, 연속 배치, 멀티모달 모델, MCP 도구 호출 및 Claude Code 지원.
개방형 의사결정 모델을 위한 Jev 호환 API 서버. 의사결정 모델용 Ollama: 29개 모델 계열(Laya, pplx-decider, Clef, Winnow, coba 등)을 로컬에서 내려받아 실행하거나 /v1/systemone 뒤에서 직접 호스팅할 수 있습니다. TypeSafe SDK는 변경 없이 사용할 수 있습니다. 기본 URL을 설정하고 개방형 모델을 선택하세요. CLI, 데스크톱 앱, Docker, MCP 서버, 공개 벤치마크 제공.
자주 묻는 질문
GitHub에서 가장 인기 있는 #inference-server 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #inference-server 프로젝트는 23,831개의 스타를 받은 jundot/omlx입니다. Apple Silicon용 연속 배치 및 SSD 캐싱 LLM 추론 서버 — macOS 메뉴바에서 관리
#inference-server 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #inference-server 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Rust, C++입니다.
#inference-server 저장소 순위는 어떻게 계산되나요?
#inference-server 태그가 지정된 활성 오픈 소스 저장소(13개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 53,014개이며 저장소당 평균 4,078개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.