Git Stars Git Stars

#llm-inference Repositórios

Descubra 202 repositórios ativos de código aberto no GitHub marcados com #llm-inference, acumulando um total de 1,046,424 estrelas (uma média de 5,180 por projeto). O líder deste tópico é deepseek-ai/DeepSeek-V3, com 104,417 estrelas.

202
Total de Repositórios
1.0M
Total de estrelas
5,180
Média de Estrelas/Repositório

202 repositórios no total

2
nomic-ai/gpt4all

GPT4All: Execute LLMs Locais em Qualquer Dispositivo. Código aberto e disponível para uso comercial.

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 Atualizado 2025-05-27 📅 Criado 2023-03-27
3
oobabooga/textgen

Aplicativo de desktop de código aberto para LLMs locais. Texto, visão, chamada de ferramentas, API compatível com OpenAI/Anthropic. 100% privado.

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 Atualizado 2026-08-17 📅 Criado 2022-12-21
4
ray-project/ray

Ray é um motor de computação de IA. O Ray consiste em um runtime distribuído central e um conjunto de Bibliotecas de IA para acelerar cargas de trabalho de ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-10-25
5
microsoft/BitNet

Estrutura de inferência oficial para LLMs de 1 bit

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Atualizado 2026-07-27 📅 Criado 2024-08-05
6
gitleaks/gitleaks

Descubra segredos com Gitleaks 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 Atualizado 2026-10-28 📅 Criado 2018-01-27
7
QwenLM/Qwen3

Qwen3 é a série de modelos de linguagem grande desenvolvida pela equipe Qwen, Alibaba Cloud.

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 Atualizado 2026-01-09 📅 Criado 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: uma lista selecionada de Modelos de Linguagem Grandes

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 Atualizado 2025-07-31 📅 Criado 2023-02-17
9
google-ai-edge/gallery

Uma galeria que exibe casos de uso de ML/GenAI no dispositivo e permite que as pessoas experimentem e usem modelos localmente.

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-03-31
10
liguodongiot/llm-action

Este projeto visa compartilhar os princípios técnicos e a experiência prática relacionados a Grandes Modelos (engenharia de Grandes Modelos e implementação de aplicações de Grandes Modelos).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Atualizado 2026-10-14 📅 Criado 2023-05-23
11
deepseek-ai/DeepSeek-OCR

Contextos de compressão óptica

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 Atualizado 2026-01-27 📅 Criado 2025-10-17
12
kvcache-ai/ktransformers

Um Framework Flexível para Experimentar Otimizações de Inferência/Ajuste Fino de LLM Heterogêneos

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 Atualizado 2026-11-13 📅 Criado 2024-07-26
13
karpathy/llama2.c

Inferência do Llama 2 em um único arquivo de C puro

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 Atualizado 2024-08-06 📅 Criado 2023-07-23
14
Stability-AI/StableLM

StableLM: Modelos de Linguagem da Stability AI

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 Atualizado 2024-04-08 📅 Criado 2023-04-19
15
mindverse/Second-Me

Treine seu eu de IA, amplifique você, conecte o mundo

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 Atualizado 2025-09-30 📅 Criado 2025-03-16
16
Lightning-AI/litgpt

Mais de 20 LLMs de alto desempenho com receitas para pré-treinar, ajustar e implantar em escala.

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 Atualizado 2026-11-10 📅 Criado 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA: Núcleos Eficientes de Atenção Latente de Múltiplas Cabeças

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 Atualizado 2026-10-27 📅 Criado 2025-02-21
18
bentoml/OpenLLM

Rode quaisquer LLMs de código aberto, como DeepSeek e Llama, como um endpoint de API compatível com OpenAI na nuvem.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Atualizado 2026-11-16 📅 Criado 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

Um modelo Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Atualizado 2026-11-16 📅 Criado 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™ é um kit de ferramentas de código aberto para otimizar e implantar inferência de IA

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-10-15
21
mistralai/mistral-inference

Biblioteca oficial de inferência para modelos Mistral

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 Atualizado 2026-04-20 📅 Criado 2023-09-27
22
abetlen/llama-cpp-python

Ligações Python para llama.cpp

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 Atualizado 2026-11-21 📅 Criado 2023-03-23
23
Tiiny-AI/PowerInfer

Serviço de Alta Velocidade de Modelos de Linguagem Grandes para Implantação Local

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 Atualizado 2026-05-11 📅 Criado 2023-12-15
24
bentoml/BentoML

A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de Inferência de Modelo, filas de tarefas (Job queues), aplicativos LLM, pipelines multimodelos e muito mais!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Atualizado 2026-11-17 📅 Criado 2019-04-02
25
ai-dynamo/dynamo

Um Framework de Serviço de Inferência Distribuída em Escala de Data Center

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-03-03
26
bojieli/ai-infra-book

《Compreendendo profundamente a infraestrutura de IA: análise quantitativa e projeto de sistemas》 (de Li Bojie), um manuscrito de livro de código aberto: partindo das restrições de hardware e das arquiteturas dos modelos, deriva quantitativamente o projeto de sistemas de inferência e treinamento de LLMs. Inclui o texto completo, o PDF, ferramentas de cálculo complementares e experimentos.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Atualizado 2026-10-01 📅 Criado 2026-08-22
27
InternLM/lmdeploy

LMDeploy é um toolkit para comprimir, implantar e servir LLMs.

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-06-15
28
algorithmicsuperintelligence/openevolve

Implementação de código aberto do AlphaEvolve

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-05-15
29
drumih/turbo-fieldfare

Inferência do Gemma 4 26B-A4B em ~2 GB de RAM em qualquer MacBook da série M

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 Atualizado 2026-11-14 📅 Criado 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] Modelos de Linguagem em Streaming Eficientes com Attention Sinks

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Atualizado 2024-07-11 📅 Criado 2023-09-29
31
katanemo/plano

Plano é um servidor proxy nativo de IA e um plano de dados para aplicações de agentes. Roteamento inteligente de LLM, observabilidade, orquestração de agentes e proteções para que você se concentre na lógica principal dos seus agentes.

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 Atualizado 2026-10-24 📅 Criado 2024-07-09
32
google/gemma.cpp

mecanismo de inferência C++ leve e autônomo para os modelos Gemma do Google.

google
⭐ 7,089 C++ 👤 google Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2: Rompendo a Barreira dos Modelos de Código Fechado na Inteligência de Código

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 Atualizado 2025-11-11 📅 Criado 2024-06-14
34
karminski/one-small-step

Este é um projeto simples de tutorial de divulgação científica e técnica, focado principalmente em explicar alguns conceitos e princípios técnicos interessantes e de ponta. Cada artigo deve ser lido em 5 minutos.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Atualizado 2026-03-08 📅 Criado 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: Biblioteca de Kernel para Servidor de LLM

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-07-22
36
simplescaling/s1

s1: Escalonamento simples em tempo de teste

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Atualizado 2025-06-25 📅 Criado 2025-02-01
37
lemonade-sdk/lemonade

Lemonade ajuda os usuários a descobrir e executar aplicativos de IA locais, fornecendo LLMs otimizados diretamente de suas próprias GPUs e NPUs. Junte-se ao nosso discord: https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-05-15
38
kserve/kserve

Plataforma Padronizada de Inferência de IA Generativa e Preditiva Distribuída para Implantação Escalável e Multi-Framework no Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-03-27
39
meta-pytorch/gpt-fast

Geração de texto transformador nativo de PyTorch, simples e eficiente, em <1000 LOC de Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Atualizado 2025-08-22 📅 Criado 2023-10-17
40
cactus-compute/engine

Quantização de 2 bits, kernels e ambiente de execução para dispositivos de consumo.

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 Atualizado 2026-11-05 📅 Criado 2025-04-23
41
gpustack/gpustack

Um gerenciador de cluster de GPU para serviço de modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU sob demanda acessíveis via SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ Motor de inferência WebGPU em Rust puro — Compatível com a API da OpenAI, nativo para GGUF, roda em qualquer GPU. Sem Python. Sem llama.cpp. Binário único.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 Atualizado 2026-11-12 📅 Criado 2025-08-28
43
alexzhang13/rlm

Biblioteca de inferência plug-and-play geral para Modelos de Linguagem Recursivos (RLMs), suportando vários ambientes isolados (sandboxes).

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 Atualizado 2026-11-21 📅 Criado 2025-12-20
44
sgl-project/mini-sglang

Uma implementação compacta do SGLang, projetada para desmistificar as complexidades dos modernos sistemas de serviço de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Atualizado 2026-05-17 📅 Criado 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚Uma lista selecionada de artigos incríveis sobre Inferência de LLM/VLM com Códigos: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Atualizado 2026-10-20 📅 Criado 2023-08-27
46
superduper-io/superduper

Superduper: Framework de ponta a ponta para a criação de aplicações e agentes de IA personalizados.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Atualizado 2025-09-01 📅 Criado 2022-08-30
47
ztxz16/fastllm

fastllm é uma biblioteca de inferência de modelos de linguagem grandes de alto desempenho, sem dependências de backend, que ajuda você a executar inferências com eficiência na maioria dos dispositivos.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2: Um Modelo de Linguagem de Mistura de Especialistas Forte, Econômico e Eficiente

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 Atualizado 2024-09-25 📅 Criado 2024-04-22
49
FellouAI/eko

Eko (Eko Continua Operando) - Construa Fluxos de Trabalho Agenticos Prontos para Produção com Linguagem Natural - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 Atualizado 2026-03-03 📅 Criado 2024-11-23
50
ruvnet/RuVector

A RuVector oferece tomada de decisões e memória de agentes de alto desempenho em tempo real, IA autodidata e um banco de dados GNN vetorial desenvolvido em Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Atualizado 2026-11-21 📅 Criado 2025-11-19

Perguntas Frequentes

1

Qual é o repositório de #llm-inference mais popular no GitHub?

O projeto de código aberto de #llm-inference mais bem classificado no GitHub é deepseek-ai/DeepSeek-V3, com 104,417 estrelas.

2

Quais linguagens de programação são mais usadas nos repositórios de #llm-inference?

Entre os projetos de #llm-inference mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Rust, Go.

3

Como é calculada a classificação dos repositórios de #llm-inference?

Acompanhamos 202 repositórios ativos de código aberto marcados com #llm-inference (com mais de 500 estrelas), totalizando 1,046,424 estrelas e uma média de 5,180 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.