#sglang 저장소
#sglang 태그가 지정된 GitHub의 활성 오픈 소스 저장소 38개를 확인해 보세요. 총 109,680개의 스타를 획득했으며 프로젝트당 평균 2,886개입니다. 이 주제를 이끄는 저장소는 9,667개의 스타를 받은 xorbitsai/inference입니다.
저장소 총 38개
언어, 비전, 임베딩, 재순위화, 이미지, 오디오 및 비디오 모델을 위한 오픈 소스 추론 플랫폼입니다. 여러 엔진을 사용해 노트북부터 분산 클러스터까지 다양한 하드웨어 환경에 배포할 수 있습니다. OpenAI 호환 API를 통해 모델을 제공합니다.
AI 인프라 지식 및 코드 연습 공유: PyTorch, vLLM/SGLang, slime/vime 프레임워크 입문⚡️, 성능 가속🚀, 대규모 모델 기초🧠, AI 소프트웨어 및 하드웨어🔧 등
Miles는 LLM 및 VLM 사후 훈련을 위한 엔터프라이즈 지향 강화 학습 프레임워크로, 슬라임에서 포크되었으며 슬라임과 함께 공진화하고 있습니다.
LLM 추론에 관한 SGLang x Datawhale 공식 강좌: 추론을 이해하고, 처음부터 미니 SGLang을 구축한 다음, 실제 SGLang 소스 코드를 읽고 첫 PR을 제출해 보세요. 영어와 중국어로 제공됩니다.
HF, vLLM, SGLang을 통해 Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei Ascend NPU 및 Intel/AMD/Apple CPU의 하드웨어 가속을 지원하는 LLM 모델 양자화(압축) 툴킷.
LLM 추론 서빙 및 최적화를 위한 10주 로드맵(하루 30분). vLLM, SGLang, 양자화, 추측 디코딩, 벤치마킹.
Rust로 구축된 엔진 독립형 LLM 게이트웨이. vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini 등에서 OpenAI 및 Anthropic API를 완벽하게 지원합니다. 업계 최초의 gRPC 파이프라인, KV 캐시 인식 라우팅, 채팅 기록, 토큰화 캐싱, Responses API, 임베딩, WASM 플러그인, MCP 및 멀티테넌트 인증을 제공합니다.
sparkrun - NVIDIA DGX Spark 시스템에서 LLM 추론 워크로드를 시작, 관리 및 중지합니다. 실시간 지원: https://discord.com/invite/GH5kRgv6ZD
Open Model Engine(OME) — LLM 서빙, GPU 스케줄링 및 모델 수명 주기 관리를 위한 Kubernetes 오퍼레이터입니다. SGLang, vLLM, TensorRT-LLM 및 Triton을 지원합니다
자주 묻는 질문
GitHub에서 가장 인기 있는 #sglang 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #sglang 프로젝트는 9,667개의 스타를 받은 xorbitsai/inference입니다. 언어, 비전, 임베딩, 재순위화, 이미지, 오디오 및 비디오 모델을 위한 오픈 소스 추론 플랫폼입니다. 여러 엔진을 사용해 노트북부터 분산 클러스터까지 다양한 하드웨어 환경에 배포할 수 있습니다. OpenAI 호환 API를 통해 모델을 제공합니다.
#sglang 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #sglang 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, HTML, Rust, C++입니다.
#sglang 저장소 순위는 어떻게 계산되나요?
#sglang 태그가 지정된 활성 오픈 소스 저장소(38개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 109,680개이며 저장소당 평균 2,886개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.