#llm-inference 저장소
저장소 총 202개
Qwen 및 Nemotron에 최적화된 Apple Silicon용 초고속 추론 엔진입니다. OpenAI 및 Anthropic API와 호환됩니다. nace.ai 팀이 개발했습니다.
무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.
오픈 소스 로컬 AI SDK - 클라우드나 API 키 없이 디바이스에서 AI를 실행하세요. GGUF, RAG, 이미지·음악·동영상 생성, 음성-텍스트 변환, P2P 추론 등을 지원합니다. 크로스 플랫폼: Linux, macOS, Windows, Android, iOS.
순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원
Apple Silicon에서 LLM 디코딩을 최대 4배 더 빠르게, 무손실. DeepSeek의 DSpark 및 z-lab의 DFlash 추측 디코딩을 네이티브 MLX로 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, 삼진 Bonsai-27B 지원.
LLM-PowerHouse: 맞춤형 교육 및 추론을 위한 엄선된 튜토리얼, 모범 사례 및 바로 사용할 수 있는 코드를 통해 LLM의 잠재력을 발휘하십시오.
105GB 모델을 저장할 수 없는 Mac에서도 AI 모델을 실행하세요. 4비트 Qwen3.8-Flash-Next를 SSD에서 스트리밍해 메모리 16~64GB의 Apple Silicon Mac에서 구동합니다. Swift, MLX, Metal 기반의 완전 네이티브 구현입니다. 오프라인으로 작동하며 Python이 필요 없습니다. CLI, Swift 라이브러리, Ollama/OpenAI/Anthropic API를 제공합니다. Claude Code 및 Codex와 호환됩니다.
Rockchip NPU용 Ollama 대안: Rockchip 기기에서 AI 및 딥러닝 모델을 실행하기 위한 효율적인 솔루션, 최적화된 NPU 지원 (rkllm)
브라우저에서 직접 실행되는 AI 어시스턴트가 있는 미니멀리스트 웹 검색 플랫폼입니다. 데모: https://felladrin-minisearch.hf.space
자체 호스팅 AI 에이전트 OS. 메모리, 채팅, 에이전트 및 파일은 사용자가 소유한 하드웨어에 저장되며, 기본적으로 오프라인 상태를 유지하고 필요 시 클라우드를 선택할 수 있습니다. 오프라인 AI 메모리(taOSmd), 자체 호스팅 멀티 프레임워크 그룹 채팅, 전체 웹 데스크톱 + 앱 스토어, 그리고 기존에 보유한 소비자용 하드웨어(Orange/Raspberry Pi, Mac mini, 게이밍 PC) 간의 자동 클러스터링 기능을 제공합니다.
학교 채용, 가을 채용, 봄 채용, 인턴십 좋은 프로젝트, 제로부터 Llama2/3와 Qwen2.5를 지원하는 대형 모델 추론 프레임워크를 직접 구현하도록 안내합니다.
RTX PRO 6000 / RTX 5090(sm_120)의 최첨단 MoE 모델: RTX PRO 6000 4개에서 실행하는 DeepSeek-V4.1-Flash, RTX 5090 4개에서의 GPU+CPU 하이브리드 구성, vLLM v0.24.0의 2비트 전문가 모델
NVIDIA GPU에서 StartLux-Decision 모델을 빠르고 정확하게 추론하세요. 공개된 GGUF 파일은 /v1/systemone API를 통해 int8 및 4비트 텐서 코어에서 실행되며, FP8에서 vLLM보다 최대 5.3배 낮은 지연 시간을 제공하고 답변은 비트 단위로 동일합니다.
Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.
Open Model Engine(OME) — LLM 서빙, GPU 스케줄링 및 모델 수명 주기 관리를 위한 Kubernetes 오퍼레이터입니다. SGLang, vLLM, TensorRT-LLM 및 Triton을 지원합니다
KV 캐시, PagedAttention, 연속 배칭부터 vLLM, SGLang, GPU까지 LLM 추론 엔지니어링을 단계별로 배워 보세요.
KVarN은 에이전트를 위한 네이티브 vLLM KV 캐시 양자화 백엔드입니다. 컨텍스트를 3~5배 더 확보하고, FP16을 뛰어넘는 처리량과 FP16 수준의 정확도를 제공합니다. 캘리브레이션 없이 플래그 하나로 사용할 수 있습니다.
AI 기반 설문조사와 실험을 설계하고 수행하며 그 결과를 분석하세요. 다수의 AI 에이전트와 대규모 언어 모델을 활용해 사회과학 연구와 시장조사를 시뮬레이션하세요.