#vllm 저장소
#vllm 태그가 지정된 GitHub의 활성 오픈 소스 저장소 133개를 확인해 보세요. 총 554,542개의 스타를 획득했으며 프로젝트당 평균 4,169개입니다. 이 주제를 이끄는 저장소는 123,140개의 스타를 받은 earendil-works/pi입니다.
저장소 총 134개
훈련, 추론, 스트리밍 ASR, VAD, 구두점, 화자 분할 파이프라인 및 OpenAI 호환/MCP 서빙을 위한 오픈 소스 음성 인식 툴킷입니다.
Llama Cookbook에 오신 것을 환영합니다! Llama로 빌드하기 위한 최고의 가이드입니다: 추론, 미세 조정, RAG 시작하기. 또한 Llama 모델 제품군을 사용하여 종단 간 문제를 해결하고 다양한 공급자 서비스에서 이를 사용하는 방법을 보여줍니다.
어떤 AI 모델에도 적용 가능한 AI 연구 및 엔지니어링 기술의 포괄적인 오픈소스 라이브러리입니다. 이 기술들을 패키징하면 당신의 claude code/codex/gemini 에이전트는 완전한 성능을 갖춘 AI 연구 에이전트가 될 것입니다. Orchestra Research에서 관리합니다.
✍🏻 소스 코드 심층 분석, 시스템 설계 및 엔지니어링 블로그 | Halfrost-Field 얼음 서리 땅: 소스 코드 분석, 시스템 설계 및 엔지니어링 실습 노트
사용하기 쉽고, 확장 가능하며 고성능 Ray 기반 Agentic RL 프레임워크 (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
언어, 비전, 임베딩, 재순위화, 이미지, 오디오 및 비디오 모델을 위한 오픈 소스 추론 플랫폼입니다. 여러 엔진을 사용해 노트북부터 분산 클러스터까지 다양한 하드웨어 환경에 배포할 수 있습니다. OpenAI 호환 API를 통해 모델을 제공합니다.
📚Flash-Attention, Paged-Attention, WINT8/4, Parallelism 등 Awesome LLM/VLM 추론 논문 및 코드 모음집🎉
AI 인프라 지식 및 코드 연습 공유: PyTorch, vLLM/SGLang, slime/vime 프레임워크 입문⚡️, 성능 가속🚀, 대규모 모델 기초🧠, AI 소프트웨어 및 하드웨어🔧 등
[NeurIPS'24] HippoRAG는 인간의 장기 기억에서 영감을 받은 새로운 RAG 프레임워크로 LLM이 외부 문서 전반에 걸쳐 지식을 지속적으로 통합할 수 있도록 합니다. RAG + 지식 그래프 + 맞춤형 PageRank.
RamaLama는 모든 소스의 AI 모델을 로컬에서 제공하는 것을 단순화하고 컨테이너라는 친숙한 언어를 통해 프로덕션에서 추론에 사용하도록 지원하는 오픈 소스 개발 도구입니다.
실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.
CodeGeeX4-ALL-9B는 코드 완성, 코드 인터프리터, 웹 검색, 함수 호출, 리포지토리 수준 Q&A 등 모든 AI 소프트웨어 개발 시나리오에 적합한 다목적 모델입니다.
O'Reilly AI 시스템 성능 엔지니어링을 위한 코드, 실습 및 리소스: GPU 최적화, 분산 학습, 추론 확장 및 풀스택 튜닝.
자주 묻는 질문
GitHub에서 가장 인기 있는 #vllm 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #vllm 프로젝트는 123,140개의 스타를 받은 earendil-works/pi입니다. AI 에이전트 툴킷: 통합 LLM API, 에이전트 루프, TUI, 코딩 에이전트 CLI
#vllm 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #vllm 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Jupyter Notebook, Go, TypeScript입니다.
#vllm 저장소 순위는 어떻게 계산되나요?
#vllm 태그가 지정된 활성 오픈 소스 저장소(133개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 554,542개이며 저장소당 평균 4,169개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.