Git Stars Git Stars

#inference-server 저장소

#inference-server 태그가 지정된 GitHub의 활성 오픈 소스 저장소 13개를 확인해 보세요. 총 53,014개의 스타를 획득했으며 프로젝트당 평균 4,078개입니다. 이 주제를 이끄는 저장소는 23,831개의 스타를 받은 jundot/omlx입니다.

13
총 리포지토리
53,014
총 별점
4,078
리포지토리당 평균 스타 수
프로그래밍 언어: Python Rust C++

저장소 총 13개

1
jundot/omlx

Apple Silicon용 연속 배치 및 SSD 캐싱 LLM 추론 서버 — macOS 메뉴바에서 관리

jundot
⭐ 23,831 Python 👤 jundot User 🕐 업데이트됨 2026-11-22 📅 생성됨 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ 순수 Rust 기반 WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브 지원, 모든 GPU에서 실행 가능. Python 불필요. llama.cpp 불필요. 단일 바이너리.

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 업데이트됨 2026-11-12 📅 생성됨 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX는 Apple Silicon용 오픈 소스(Apache 2.0) LLM 추론 서버로, OpenAI 및 Anthropic과 호환되며 MLX를 기반으로 구축되었습니다. 코딩 에이전트를 위한 안정적인 도구 호출에 중점을 둡니다. 동일한 가중치를 사용할 때 Apple의 MLX(mlx-lm)보다 최대 4배 빠릅니다.

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 업데이트됨 2026-11-22 📅 생성됨 2026-02-25
4
superlinked/sie

에이전트가 필요로 하는 모든 모델을 위한 오픈소스 추론 서버 및 프로덕션 클러스터.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-11-07
5
containers/ramalama

RamaLama는 모든 소스의 AI 모델을 로컬에서 제공하는 것을 단순화하고 컨테이너라는 친숙한 언어를 통해 프로덕션에서 추론에 사용하도록 지원하는 오픈 소스 개발 도구입니다.

containers
⭐ 3,118 Python 👤 containers Organization 🕐 업데이트됨 2026-11-14 📅 생성됨 2024-07-24
6
roboflow/inference

모든 컴퓨터 또는 엣지 장치를 컴퓨터 비전 프로젝트를 위한 명령 센터로 전환하세요.

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-07-31
7
gpt-omni/mini-omni2

비전, 음성 및 듀플렉스 기능을 갖춘 오픈 소스 GPT-4o를 향하여

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 업데이트됨 2025-01-16 📅 생성됨 2024-10-14
8
LlamaEdge/LlamaEdge

로컬 또는 엣지에서 맞춤형 및 미세 조정된 LLM을 실행하는 가장 쉽고 빠른 방법

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 업데이트됨 2026-02-08 📅 생성됨 2023-10-09
9
waybarrios/vllm-mlx

Apple Silicon용 고성능 OpenAI 및 Anthropic 호환 LLM 추론 서버. 네이티브 MLX, 연속 배치, 멀티모달 모델, MCP 도구 호출 및 Claude Code 지원.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 업데이트됨 2026-11-07 📅 생성됨 2025-12-06
10
ollaya-dev/ollaya

개방형 의사결정 모델을 위한 Jev 호환 API 서버. 의사결정 모델용 Ollama: 29개 모델 계열(Laya, pplx-decider, Clef, Winnow, coba 등)을 로컬에서 내려받아 실행하거나 /v1/systemone 뒤에서 직접 호스팅할 수 있습니다. TypeSafe SDK는 변경 없이 사용할 수 있습니다. 기본 URL을 설정하고 개방형 모델을 선택하세요. CLI, 데스크톱 앱, Docker, MCP 서버, 공개 벤치마크 제공.

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-09-23
11
basetenlabs/truss

프로덕션에서 AI/ML 모델을 제공하는 가장 간단한 방법

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR, >200 img/s OmnidocBench. TensorRT FP16, PP-OCRv6, HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 업데이트됨 2026-09-27 📅 생성됨 2026-03-20
13
pipeless-ai/pipeless

몇 분 안에 앱을 구축하고 배포할 수 있는 오픈 소스 컴퓨터 비전 프레임워크

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 업데이트됨 2024-05-08 📅 생성됨 2023-07-21

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #inference-server 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #inference-server 프로젝트는 23,831개의 스타를 받은 jundot/omlx입니다. Apple Silicon용 연속 배치 및 SSD 캐싱 LLM 추론 서버 — macOS 메뉴바에서 관리

2

#inference-server 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #inference-server 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Rust, C++입니다.

3

#inference-server 저장소 순위는 어떻게 계산되나요?

#inference-server 태그가 지정된 활성 오픈 소스 저장소(13개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 53,014개이며 저장소당 평균 4,078개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.