#llm-inference 저장소
#llm-inference 태그가 지정된 GitHub의 활성 오픈 소스 저장소 202개를 확인해 보세요. 총 1,046,424개의 스타를 획득했으며 프로젝트당 평균 5,180개입니다. 이 주제를 이끄는 저장소는 104,417개의 스타를 받은 deepseek-ai/DeepSeek-V3입니다.
저장소 총 202개
로컬 LLM을 위한 오픈 소스 데스크톱 앱. 텍스트, 비전, 도구 호출, OpenAI/Anthropic 호환 API 지원. 100% 개인 정보 보호.
2.78조 개의 파라미터를 가진 Kimi K3 모델이 8.24GB RAM의 단일 CPU에서 추론을 실행함. 포터블 C99: BLAS 없음, 프레임워크 없음, GPU 없음.
《AI 인프라 심층 이해: 정량 분석과 시스템 설계》(리보제 저), 오픈 소스 도서 원고: 하드웨어 제약과 모델 아키텍처를 바탕으로 LLM 추론 및 학습 시스템 설계를 정량적으로 도출합니다. 책 전체 본문, PDF, 관련 계산 도구와 실험을 포함합니다.
Plano는 에이전트 앱을 위한 AI 네이티브 프록시 서버 및 데이터 플레인입니다. 스마트 LLM 라우팅, 관찰 가능성, 에이전트 오케스트레이션 및 가드레일을 제공하여 에이전트의 핵심 로직에 집중할 수 있도록 합니다.
이것은 흥미롭고 최첨단 기술 개념과 원리를 설명하는 데 초점을 맞춘 간단한 기술科普 튜토리얼 프로젝트입니다. 각 기사는 5분 안에 읽기를 완료하도록 노력합니다.
Lemonade는 최적화된 LLM을 사용자 자신의 GPU 및 NPU에서 직접 제공하여 사용자가 로컬 AI 앱을 찾고 실행하도록 돕습니다. 저희 디스코드에 참여하세요: https://discord.gg/5xXzkMu8Zk
⚡ 순수 Rust 기반 WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브 지원, 모든 GPU에서 실행 가능. Python 불필요. llama.cpp 불필요. 단일 바이너리.
📚Flash-Attention, Paged-Attention, WINT8/4, Parallelism 등 Awesome LLM/VLM 추론 논문 및 코드 모음집🎉
fastllm은 백엔드에 의존하지 않는 고성능 대규모 언어 모델 추론 라이브러리로, 대부분의 기기에서 대규모 언어 모델을 효율적으로 추론할 수 있도록 도와줍니다.
RuVector는 고성능 실시간 의사 결정과 에이전트 메모리, 자기 학습형 AI, 그리고 Rust로 구축된 벡터 GNN 데이터베이스를 제공합니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #llm-inference 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #llm-inference 프로젝트는 104,417개의 스타를 받은 deepseek-ai/DeepSeek-V3입니다.
#llm-inference 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #llm-inference 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, Rust, Go입니다.
#llm-inference 저장소 순위는 어떻게 계산되나요?
#llm-inference 태그가 지정된 활성 오픈 소스 저장소(202개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 1,046,424개이며 저장소당 평균 5,180개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.