#inference-optimization 저장소
#inference-optimization 태그가 지정된 GitHub의 활성 오픈 소스 저장소 41개를 확인해 보세요. 총 86,309개의 스타를 획득했으며 프로젝트당 평균 2,105개입니다. 이 주제를 이끄는 저장소는 12,902개의 스타를 받은 lllyasviel/stable-diffusion-webui-forge입니다.
저장소 총 41개
[EMNLP'23, ACL'24] LLM의 추론 속도를 높이고 LLM의 주요 정보 인식을 향상시키기 위해 프롬프트와 KV-Cache를 압축하여 성능 손실을 최소화하면서 최대 20배의 압축률을 달성합니다.
실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.
이 리포지토리에는 Google, Nvidia, Meta, Microsoft 및 Fortune 500대 기업과 같은 최고 기업에서 묻는 LLM(대규모 언어 모델) 인터뷰 질문이 포함되어 있습니다.
https://wavespeed.ai/ [WIP] ComfyUI를 위한 올인원 추론 최적화 솔루션, 범용적, 유연하며 빠릅니다.
Raspberry Pi에서 TensorFlow의 Object Detection API를 설정하는 방법에 대한 튜토리얼
PyTorch, Triton, CUDA를 활용해 LLM 알고리즘과 시스템을 실습합니다. 《LLM 알고리즘 및 시스템 튜토리얼》에서는 모델 아키텍처와 학습, 후속 학습, 추론 가속, 성능 및 연산자 최적화를 다루며, Notebook 실습, 정답 해설, 테스트와 실험도 제공합니다.
Cline 중국어 현지화 버전, Cline은 IDE 내에서 실행되는 자율 프로그래밍 도우미로, 귀하의 허가를 받아 파일을 생성/편집하고, 명령을 실행하며, 브라우저를 사용하는 등의 기능을 수행할 수 있습니다.
KV 캐시, PagedAttention, 연속 배칭부터 vLLM, SGLang, GPU까지 LLM 추론 엔지니어링을 단계별로 배워 보세요.
자주 묻는 질문
GitHub에서 가장 인기 있는 #inference-optimization 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #inference-optimization 프로젝트는 12,902개의 스타를 받은 lllyasviel/stable-diffusion-webui-forge입니다.
#inference-optimization 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #inference-optimization 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Jupyter Notebook, C++, C입니다.
#inference-optimization 저장소 순위는 어떻게 계산되나요?
#inference-optimization 태그가 지정된 활성 오픈 소스 저장소(41개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 86,309개이며 저장소당 평균 2,105개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.