#llm-serving 저장소
#llm-serving 태그가 지정된 GitHub의 활성 오픈 소스 저장소 44개를 확인해 보세요. 총 381,346개의 스타를 획득했으며 프로젝트당 평균 8,666개입니다. 이 주제를 이끄는 저장소는 97,302개의 스타를 받은 vllm-project/vllm입니다.
저장소 총 44개
TensorRT LLM은 사용자가 대규모 언어 모델(LLM)을 정의할 수 있는 사용하기 쉬운 Python API를 제공하며, NVIDIA GPU에서 효율적으로 추론을 수행하기 위한 최첨단 최적화를 지원합니다. TensorRT LLM은 또한 추론 실행을 성능이 뛰어난 방식으로 조율하는 Python 및 C++ 런타임을 생성하는 구성 요소를 포함하고 있습니다.
최첨단 팀을 위한 AI 컴퓨팅 플랫폼. SkyPilot은 분산된 AI 컴퓨팅을 하나의 AI 슈퍼컴퓨터로 전환하여 최첨단 AI 팀이 맞춤형 지능을 더 빠르게 구축할 수 있도록 합니다.
《AI 인프라 심층 이해: 정량 분석과 시스템 설계》(리보제 저), 오픈 소스 도서 원고: 하드웨어 제약과 모델 아키텍처를 바탕으로 LLM 추론 및 학습 시스템 설계를 정량적으로 도출합니다. 책 전체 본문, PDF, 관련 계산 도구와 실험을 포함합니다.
모델 학습, 서빙, 미세 조정 및 LLM 애플리케이션 구축을 포함하는 대규모 언어 모델 리소스 큐레이션 목록입니다.
AWS Trainium용 오픈 소스 LLM 추론 엔진: NKI 메가커널, 100만 토큰 컨텍스트, OpenAI 호환 API. RunAnywhere 제공.
최첨단 API처럼 작동하는 로컬 추론: AMD Strix Halo의 Qwen3.8-Flash-Next와 소형 NPU 모델을 OpenAI 및 Anthropic API를 통해 단일 포트에서 제공합니다.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Long-context LLM의 추론 속도를 높이기 위해 근사적이고 동적인 희소 계산은 주의를 계산하며, 이는 A100에서 사전 채우기 시 추론 지연 시간을 최대 10배까지 줄이면서 정확도를 유지합니다.
[MLSys'25] QServe: 효율적인 LLM 서빙을 위한 W4A8KV4 양자화 및 시스템 공동 설계; [MLSys'25] LServe: 통합 희소 주의를 사용한 긴 시퀀스 LLM의 효율적인 서빙
♾️ 특수 코딩의 프라이빗 에이전트 플릿. 각 에이전트는 GPU 가속 데스크톱을 가짐. Claude, Codex, Gemini 및 오픈 모델을 완전한 프라이빗 AI 스택에서 실행 ♾️
무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.
순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원
자주 묻는 질문
GitHub에서 가장 인기 있는 #llm-serving 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #llm-serving 프로젝트는 97,302개의 스타를 받은 vllm-project/vllm입니다. LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진
#llm-serving 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #llm-serving 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Jupyter Notebook, Rust, C++입니다.
#llm-serving 저장소 순위는 어떻게 계산되나요?
#llm-serving 태그가 지정된 활성 오픈 소스 저장소(44개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 381,346개이며 저장소당 평균 8,666개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.