#llm-inference 저장소
저장소 총 202개
AI 인프라 지식 및 코드 연습 공유: PyTorch, vLLM/SGLang, slime/vime 프레임워크 입문⚡️, 성능 가속🚀, 대규모 모델 기초🧠, AI 소프트웨어 및 하드웨어🔧 등
Rapid-MLX는 Apple Silicon용 오픈 소스(Apache 2.0) LLM 추론 서버로, OpenAI 및 Anthropic과 호환되며 MLX를 기반으로 구축되었습니다. 코딩 에이전트를 위한 안정적인 도구 호출에 중점을 둡니다. 동일한 가중치를 사용할 때 Apple의 MLX(mlx-lm)보다 최대 4배 빠릅니다.
GLM-5.3(744B), DeepSeek-V4.1-Flash(748B), MiniMax-M3.1-Flash(428B), GLM-5.3-Flash(321B), Hy4-Flash(220B)를 자체 GPU에서 실행하세요. 8GB VRAM부터 지원하며, NVIDIA와 AMD를 모두 사용할 수 있고, 하나의 대시보드와 OpenAI 및 Anthropic 호환 API를 제공합니다.
운영 데이터베이스에 실시간 분석 노드를 추가하세요. Spice는 데이터 기반 AI 앱 및 에이전트를 위해 Rust로 구축된 휴대용 고속 SQL 쿼리, 검색 및 LLM 추론 엔진입니다.
실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.
Mac에서 Qwen 3.8 Flash Next, Qwen 3.8 27B 및 Ternary Bonsai 2 27B를 실행하는 가장 빠른 방법: M5 Max의 OpenCode에서 초당 125토큰, 16GB Mac에서 27B 모델 실행. Apple Silicon에서 네이티브 MTP 추측 디코딩을 지원하며, 어떤 온도에서도 정확합니다. OpenAI 및 Anthropic 호환 로컬 서버.
터미널을 위한 오픈 코딩 에이전트로, 기업이 아닌 커뮤니티 집단에 의해 구축되었습니다. 자신만의 모델을 가져와 코드를 로컬 머신에 보관하세요. 누구에게도 빚질 필요가 없습니다.
LLM 추론에 관한 SGLang x Datawhale 공식 강좌: 추론을 이해하고, 처음부터 미니 SGLang을 구축한 다음, 실제 SGLang 소스 코드를 읽고 첫 PR을 제출해 보세요. 영어와 중국어로 제공됩니다.
O'Reilly AI 시스템 성능 엔지니어링을 위한 코드, 실습 및 리소스: GPU 최적화, 분산 학습, 추론 확장 및 풀스택 튜닝.
PHP 생태계의 에이전트 프레임워크로, 프로덕션 수준의 AI 기반 애플리케이션을 구축할 수 있습니다. 구성 요소(LLM, 도구, 벡터 데이터베이스, 메모리)를 데이터 및 UI와 상호 작용하는 에이전트에 연결하세요.
최고의 AI 기업 AI 엔지니어링 면접을 위한 치트 시트 - 질문과 답변.
에이전트를 위한 로컬 AI 앱 및 추론 엔진. 오픈 웨이트 LLM을 로컬에서 실행하세요 — 개인 정보 보호, 컴퓨터에서 100% 오프라인으로 작동합니다. Discord에 참여하세요: https://discord.com/invite/8wGSsvmg4V
GPU 또는 CPU에서 어디서든(Linux/Windows/Mac) Gradio UI를 사용하여 Llama 2를 로컬에서 실행하세요. 생성 에이전트/앱의 로컬 llama2 백엔드로 `llama2-wrapper`를 사용하세요.
PyTorch의 ExecuTorch 런타임으로 구동되는, React Native를 위한 고성능 프라이버시 우선 온디바이스 AI 추론 라이브러리