#llm-inference Repositórios
Descubra 202 repositórios ativos de código aberto no GitHub marcados com #llm-inference, acumulando um total de 1,046,424 estrelas (uma média de 5,180 por projeto). O líder deste tópico é deepseek-ai/DeepSeek-V3, com 104,417 estrelas.
202 repositórios no total
GPT4All: Execute LLMs Locais em Qualquer Dispositivo. Código aberto e disponível para uso comercial.
Aplicativo de desktop de código aberto para LLMs locais. Texto, visão, chamada de ferramentas, API compatível com OpenAI/Anthropic. 100% privado.
Ray é um motor de computação de IA. O Ray consiste em um runtime distribuído central e um conjunto de Bibliotecas de IA para acelerar cargas de trabalho de ML.
Qwen3 é a série de modelos de linguagem grande desenvolvida pela equipe Qwen, Alibaba Cloud.
Uma galeria que exibe casos de uso de ML/GenAI no dispositivo e permite que as pessoas experimentem e usem modelos localmente.
Este projeto visa compartilhar os princípios técnicos e a experiência prática relacionados a Grandes Modelos (engenharia de Grandes Modelos e implementação de aplicações de Grandes Modelos).
Um Framework Flexível para Experimentar Otimizações de Inferência/Ajuste Fino de LLM Heterogêneos
Mais de 20 LLMs de alto desempenho com receitas para pré-treinar, ajustar e implantar em escala.
Rode quaisquer LLMs de código aberto, como DeepSeek e Llama, como um endpoint de API compatível com OpenAI na nuvem.
Um modelo Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.
OpenVINO™ é um kit de ferramentas de código aberto para otimizar e implantar inferência de IA
Serviço de Alta Velocidade de Modelos de Linguagem Grandes para Implantação Local
A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de Inferência de Modelo, filas de tarefas (Job queues), aplicativos LLM, pipelines multimodelos e muito mais!
《Compreendendo profundamente a infraestrutura de IA: análise quantitativa e projeto de sistemas》 (de Li Bojie), um manuscrito de livro de código aberto: partindo das restrições de hardware e das arquiteturas dos modelos, deriva quantitativamente o projeto de sistemas de inferência e treinamento de LLMs. Inclui o texto completo, o PDF, ferramentas de cálculo complementares e experimentos.
Inferência do Gemma 4 26B-A4B em ~2 GB de RAM em qualquer MacBook da série M
[ICLR 2024] Modelos de Linguagem em Streaming Eficientes com Attention Sinks
Plano é um servidor proxy nativo de IA e um plano de dados para aplicações de agentes. Roteamento inteligente de LLM, observabilidade, orquestração de agentes e proteções para que você se concentre na lógica principal dos seus agentes.
DeepSeek-Coder-V2: Rompendo a Barreira dos Modelos de Código Fechado na Inteligência de Código
Este é um projeto simples de tutorial de divulgação científica e técnica, focado principalmente em explicar alguns conceitos e princípios técnicos interessantes e de ponta. Cada artigo deve ser lido em 5 minutos.
Lemonade ajuda os usuários a descobrir e executar aplicativos de IA locais, fornecendo LLMs otimizados diretamente de suas próprias GPUs e NPUs. Junte-se ao nosso discord: https://discord.gg/5xXzkMu8Zk
Plataforma Padronizada de Inferência de IA Generativa e Preditiva Distribuída para Implantação Escalável e Multi-Framework no Kubernetes
Geração de texto transformador nativo de PyTorch, simples e eficiente, em <1000 LOC de Python.
Quantização de 2 bits, kernels e ambiente de execução para dispositivos de consumo.
Um gerenciador de cluster de GPU para serviço de modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU sob demanda acessíveis via SSH.
⚡ Motor de inferência WebGPU em Rust puro — Compatível com a API da OpenAI, nativo para GGUF, roda em qualquer GPU. Sem Python. Sem llama.cpp. Binário único.
Biblioteca de inferência plug-and-play geral para Modelos de Linguagem Recursivos (RLMs), suportando vários ambientes isolados (sandboxes).
Uma implementação compacta do SGLang, projetada para desmistificar as complexidades dos modernos sistemas de serviço de LLM.
📚Uma lista selecionada de artigos incríveis sobre Inferência de LLM/VLM com Códigos: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.🎉
Superduper: Framework de ponta a ponta para a criação de aplicações e agentes de IA personalizados.
fastllm é uma biblioteca de inferência de modelos de linguagem grandes de alto desempenho, sem dependências de backend, que ajuda você a executar inferências com eficiência na maioria dos dispositivos.
DeepSeek-V2: Um Modelo de Linguagem de Mistura de Especialistas Forte, Econômico e Eficiente
Eko (Eko Continua Operando) - Construa Fluxos de Trabalho Agenticos Prontos para Produção com Linguagem Natural - eko.fellou.ai
A RuVector oferece tomada de decisões e memória de agentes de alto desempenho em tempo real, IA autodidata e um banco de dados GNN vetorial desenvolvido em Rust.
Perguntas Frequentes
Qual é o repositório de #llm-inference mais popular no GitHub?
O projeto de código aberto de #llm-inference mais bem classificado no GitHub é deepseek-ai/DeepSeek-V3, com 104,417 estrelas.
Quais linguagens de programação são mais usadas nos repositórios de #llm-inference?
Entre os projetos de #llm-inference mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Rust, Go.
Como é calculada a classificação dos repositórios de #llm-inference?
Acompanhamos 202 repositórios ativos de código aberto marcados com #llm-inference (com mais de 500 estrelas), totalizando 1,046,424 estrelas e uma média de 5,180 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.