#inference-engine 저장소
#inference-engine 태그가 지정된 GitHub의 활성 오픈 소스 저장소 40개를 확인해 보세요. 총 102,063개의 스타를 획득했으며 프로젝트당 평균 2,551개입니다. 이 주제를 이끄는 저장소는 21,367개의 스타를 받은 huggingface/candle입니다.
저장소 총 40개
✍🏻 소스 코드 심층 분석, 시스템 설계 및 엔지니어링 블로그 | Halfrost-Field 얼음 서리 땅: 소스 코드 분석, 시스템 설계 및 엔지니어링 실습 노트
2.78조 개의 파라미터를 가진 Kimi K3 모델이 8.24GB RAM의 단일 CPU에서 추론을 실행함. 포터블 C99: BLAS 없음, 프레임워크 없음, GPU 없음.
FEDML – 대규모 분산 학습, 모델 서빙 및 연합 학습을 위한 통합되고 확장 가능한 ML 라이브러리입니다. 크로스 클라우드 스케줄러인 FEDML Launch는 모든 GPU 클라우드 또는 온프레미스 클러스터에서 모든 AI 작업을 실행할 수 있도록 지원합니다. 이 라이브러리를 기반으로 구축된 TensorOpera AI(https://TensorOpera.ai)는 대규모 생성형 AI 플랫폼입니다.
채용, 가을 채용, 봄 채용, 인턴십 좋은 프로젝트! Llama2, Unet, YoloV5, Resnet 등 대형 모델의 추론을 지원하는 고성능 딥러닝 추론 라이브러리를 처음부터 단계별로 구현하도록 안내합니다. 고성능 딥러닝 추론 라이브러리를 단계별로 구현하세요.
Mac에서 Qwen 3.8 Flash Next, Qwen 3.8 27B 및 Ternary Bonsai 2 27B를 실행하는 가장 빠른 방법: M5 Max의 OpenCode에서 초당 125토큰, 16GB Mac에서 27B 모델 실행. Apple Silicon에서 네이티브 MTP 추측 디코딩을 지원하며, 어떤 온도에서도 정확합니다. OpenAI 및 Anthropic 호환 로컬 서버.
LLM 추론에 관한 SGLang x Datawhale 공식 강좌: 추론을 이해하고, 처음부터 미니 SGLang을 구축한 다음, 실제 SGLang 소스 코드를 읽고 첫 PR을 제출해 보세요. 영어와 중국어로 제공됩니다.
최첨단 API처럼 작동하는 로컬 추론: AMD Strix Halo의 Qwen3.8-Flash-Next와 소형 NPU 모델을 OpenAI 및 Anthropic API를 통해 단일 포트에서 제공합니다.
대규모 AI 모델을 자신의 PC에서 실행하세요. Strata 엔진에서는 Qwen3.8-Flash-Next를, PolyStrata용으로 제작된 두 번째 엔진에서는 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder, MiniCPM-V를 실행할 수 있습니다. Windows와 Linux에 원클릭으로 설치할 수 있으며, localhost에서 OpenAI/Anthropic API를 제공합니다.
Qualcomm® AI Hub 모델은 성능(지연 시간, 메모리 등)에 최적화되고 Qualcomm® 장치에 배포할 준비가 된 당사의 최첨단 머신러닝 모델 컬렉션입니다.
Paddle.js는 브라우저에서 실행되는 오픈 소스 딥 러닝 프레임워크인 Baidu PaddlePaddle을 위한 웹 프로젝트입니다. Paddle.js는 사전 훈련된 모델을 로드하거나 Paddle.js에서 제공하는 모델 변환 도구를 사용하여 paddle-hub에서 모델을 변환할 수 있습니다. WebGL/WebGPU/WebAssembly를 지원하는 모든 브라우저에서 실행될 수 있습니다. Baidu Smartprogram 및 WX miniprogram에서도 실행될 수 있습니다.
CPU에서 Kimi K3를 로컬로 실행하십시오(측정된 런타임 RAM 약 55GB). cPilot Runtime으로 구동되는 단일 파일 Linux 추론 서버입니다.
[MLSys'25] QServe: 효율적인 LLM 서빙을 위한 W4A8KV4 양자화 및 시스템 공동 설계; [MLSys'25] LServe: 통합 희소 주의를 사용한 긴 시퀀스 LLM의 효율적인 서빙
순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원
Apple Silicon에서 LLM 디코딩을 최대 4배 더 빠르게, 무손실. DeepSeek의 DSpark 및 z-lab의 DFlash 추측 디코딩을 네이티브 MLX로 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, 삼진 Bonsai-27B 지원.
32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.
GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진이자 에이전트 런타임입니다. TensorSharp는 콘솔 애플리케이션, 웹 기반 챗봇 인터페이스, iPhone 앱, 그리고 프로그래밍 방식으로 사용할 수 있는 Ollama/OpenAI 호환 HTTP API를 제공합니다. Windows, macOS, iOS 및 Linux를 지원하며 GPU 기능을 완벽하게 활용할 수 있습니다.
105GB 모델을 저장할 수 없는 Mac에서도 AI 모델을 실행하세요. 4비트 Qwen3.8-Flash-Next를 SSD에서 스트리밍해 메모리 16~64GB의 Apple Silicon Mac에서 구동합니다. Swift, MLX, Metal 기반의 완전 네이티브 구현입니다. 오프라인으로 작동하며 Python이 필요 없습니다. CLI, Swift 라이브러리, Ollama/OpenAI/Anthropic API를 제공합니다. Claude Code 및 Codex와 호환됩니다.
학교 채용, 가을 채용, 봄 채용, 인턴십 좋은 프로젝트, 제로부터 Llama2/3와 Qwen2.5를 지원하는 대형 모델 추론 프레임워크를 직접 구현하도록 안내합니다.
NVIDIA GPU에서 StartLux-Decision 모델을 빠르고 정확하게 추론하세요. 공개된 GGUF 파일은 /v1/systemone API를 통해 int8 및 4비트 텐서 코어에서 실행되며, FP8에서 vLLM보다 최대 5.3배 낮은 지연 시간을 제공하고 답변은 비트 단위로 동일합니다.
교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.
Intel 장치를 위한 추론 엔진. OpenAI 엔드포인트를 통해 LLM, VLM, Whisper, Kokoro-TTS, Embedding 및 Rerank 모델을 서빙합니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #inference-engine 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #inference-engine 프로젝트는 21,367개의 스타를 받은 huggingface/candle입니다. Rust를 위한 미니멀리스트 ML 프레임워크
#inference-engine 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #inference-engine 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, Rust, Go입니다.
#inference-engine 저장소 순위는 어떻게 계산되나요?
#inference-engine 태그가 지정된 활성 오픈 소스 저장소(40개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 102,063개이며 저장소당 평균 2,551개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.