Git Stars Git Stars

#llm-inference Repositórios

202
Total de Repositórios
1.0M
Total de estrelas
5,180
Média de Estrelas/Repositório

202 repositórios no total

51
turboderp-org/exllamav2

Uma biblioteca de inferência rápida para executar LLMs localmente em GPUs de classe de consumidor modernas

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Atualizado 2026-03-04 📅 Criado 2023-08-30
52
openai/harmony

Renderizador para o formato de resposta harmony a ser usado com gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Atualizado 2026-04-08 📅 Criado 2025-07-31
53
CalvinXKY/InfraTech

Compartilhamento de conhecimento de AI Infra e prática de código: PyTorch, vLLM/SGLang, introdução ao framework slime/vime ⚡️, aceleração de desempenho 🚀, fundamentos de modelos grandes 🧠, software e hardware de IA 🔧, etc.

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 Atualizado 2026-09-20 📅 Criado 2025-11-14
54
algorithmicsuperintelligence/optillm

Otimizando o proxy de inferência para LLMs

algorithmicsuperintelligence
⭐ 4,343 Python 👤 algorithmicsuperintelligence Organization 🕐 Atualizado 2026-11-16 📅 Criado 2024-08-22
55
NVIDIA/GenerativeAIExamples

Fluxos de trabalho de referência de IA generativa otimizados para infraestrutura acelerada e arquitetura de microsserviços.

NVIDIA
⭐ 4,235 Jupyter Notebook 👤 NVIDIA Organization 🕐 Atualizado 2026-11-06 📅 Criado 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX é um servidor de inferência de LLM de código aberto (Apache 2.0) para Apple Silicon, compatível com OpenAI e Anthropic, desenvolvido com base no MLX e focado em chamadas de ferramentas confiáveis para agentes de programação. Até 4 vezes mais rápido que o MLX (mlx-lm) da Apple usando os mesmos pesos.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-25
57
predibase/lorax

Servidor de inferência Multi-LoRA que escala para milhares de LLMs ajustados

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Atualizado 2026-05-28 📅 Criado 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

Uma coleção de métodos científicos, processos, algoritmos e sistemas para construir histórias e modelos.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Atualizado 2026-10-28 📅 Criado 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

Sua Folha de Referência para Entrevista de Engenharia de IA – Perguntas e Respostas.

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-21
60
xjdr-alt/entropix

Amostragem Baseada em Entropia e Decodificação CoT Paralela

xjdr-alt
⭐ 3,434 Python 👤 xjdr-alt User 🕐 Atualizado 2024-11-13 📅 Criado 2024-10-03
61
ikawrakow/ik_llama.cpp

fork do llama.cpp com quants SOTA adicionais e desempenho aprimorado

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Atualizado 2026-11-21 📅 Criado 2024-06-27
63
b4rtaz/distributed-llama

Inferência de LLM distribuída. Conecte dispositivos domésticos em um cluster poderoso para acelerar a inferência de LLM. Mais dispositivos significam inferência mais rápida.

b4rtaz
⭐ 3,141 C++ 👤 b4rtaz User 🕐 Atualizado 2026-11-17 📅 Criado 2023-12-04
64
mw00/project-maya

Execute GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) nas suas próprias GPUs — a partir de 8 GB de VRAM, com suporte para NVIDIA e AMD, um único painel e uma API compatível com OpenAI e Anthropic.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-06
65
spiceai/spiceai

Adicione um nó de análise em tempo real ao seu banco de dados operacional. O Spice é um motor portátil e acelerado de consultas SQL, pesquisa e inferência de LLM escrito em Rust para aplicações e agentes de IA baseados em dados.

spiceai
⭐ 3,132 Rust 👤 spiceai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

Quantização de 4 bits do LLaMA usando GPTQ

qwopqwop200
⭐ 3,077 Python 👤 qwopqwop200 User 🕐 Atualizado 2024-07-13 📅 Criado 2023-03-06
67
luminal-ai/luminal

Inferência na velocidade da luz.

luminal-ai
⭐ 3,064 Rust 👤 luminal-ai Organization 🕐 Atualizado 2026-11-19 📅 Criado 2023-07-18
69
syv-ai/HyperQwen

Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Atualizado 2026-11-10 📅 Criado 2026-08-15
70
youssofal/MTPLX

A forma mais rápida de executar Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B em um Mac: 125 tokens/s no OpenCode em um M5 Max e um modelo 27B em Macs com 16 GB. Decodificação especulativa MTP nativa no Apple Silicon, com precisão em qualquer temperatura. Servidor local compatível com OpenAI e Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Atualizado 2026-11-21 📅 Criado 2026-05-02
71
vllm-project/production-stack

Sistema de referência do vLLM para implantação em todo o cluster nativa de K8S com otimização de desempenho impulsionada pela comunidade

vllm-project
⭐ 2,729 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-07 📅 Criado 2025-01-21
72
FasterDecoding/Medusa

Medusa: Framework Simples para Acelerar a Geração de LLM com Múltiplas Cabeças de Decodificação

FasterDecoding
⭐ 2,684 Jupyter Notebook 👤 FasterDecoding Organization 🕐 Atualizado 2024-06-25 📅 Criado 2023-09-10
73
mirage-project/mirage

Kernel Persistente Mirage: Compilando LLMs em um MegaKernel

mirage-project
⭐ 2,625 Cuda 👤 mirage-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-05-08
74
incoai/splash

Um mecanismo de inferência local para Apple Silicon, desenvolvido em torno do modelo.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Atualizado 2026-11-17 📅 Criado 2026-09-18
75
Nano-Collective/nanocoder

Um agente de programação aberto para o seu terminal, construído por um coletivo comunitário em vez de uma empresa. Traga o seu próprio modelo, mantenha o seu código na sua máquina e não deve nada a ninguém.

Nano-Collective
⭐ 2,582 TypeScript 👤 Nano-Collective Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-07-30
76
SafeAILab/EAGLE

Implementação oficial do EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Atualizado 2026-02-20 📅 Criado 2023-12-07
77
databricks/dbrx

Exemplos de código e recursos para DBRX, um modelo de linguagem grande desenvolvido pela Databricks

databricks
⭐ 2,578 Python 👤 databricks Organization 🕐 Atualizado 2024-05-01 📅 Criado 2024-03-26
78
Jittor/JittorLLMs

A biblioteca de inferência de modelos grandes Jitu, possui características como alto desempenho, baixos requisitos de configuração, bom suporte ao chinês e portabilidade.

Jittor
⭐ 2,419 Python 👤 Jittor User 🕐 Atualizado 2025-02-22 📅 Criado 2023-04-02
79
ashhart/TensorFold

Motor de inferência de LLM para Metal, CUDA e Vulkan.

ashhart
⭐ 2,364 Zig 👤 ashhart User 🕐 Atualizado 2026-11-21 📅 Criado 2026-06-19
80
datawhalechina/zero-to-sglang

Curso oficial da SGLang x Datawhale sobre inferência de LLM: entenda a inferência, construa um mini-SGLang do zero, depois leia o código-fonte real do SGLang e faça seu primeiro PR. Disponível em inglês e chinês.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Atualizado 2026-11-17 📅 Criado 2026-08-27
82
cfregly/ai-performance-engineering

Código, laboratórios e recursos para O'Reilly AI Systems Performance Engineering: otimização de GPU, treinamento distribuído, escalonamento de inferência e ajuste full-stack.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Atualizado 2026-11-19 📅 Criado 2025-04-21
83
neuron-core/neuron-ai

O framework de agentes do ecossistema PHP para construir aplicações orientadas por IA prontas para produção. Conecte componentes (LLMs, ferramentas, bancos de dados vetoriais, memória) a agentes que interagem com seus dados e interface de usuário.

neuron-core
⭐ 2,179 PHP 👤 neuron-core Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

Seu guia rápido para entrevistas de engenharia de IA nas principais empresas de IA — perguntas e respostas.

pallavi-shekhar
⭐ 2,098 Markdown 👤 pallavi-shekhar User 🕐 Atualizado 2026-11-21 📅 Criado 2026-09-19
85
microsoft/aici

AICI: Prompts como Programas (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Atualizado 2025-01-22 📅 Criado 2023-09-26
86
SemiAnalysisAI/InferenceX

Plataforma de pesquisa em inferência de código aberto

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-07-12
87
ovg-project/kvcached

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e além

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-05-27
88
AtomicBot-ai/Atomic-Chat

Aplicativo de IA local e motor de inferência para agentes. Execute LLMs de pesos abertos localmente — privado, 100% offline no seu computador. Junte-se ao nosso Discord: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 Atualizado 2026-11-19 📅 Criado 2026-03-31
89
kimjammer/Neuro

Uma recriação de Neuro-Sama originalmente criada em 7 dias.

kimjammer
⭐ 1,960 Python 👤 kimjammer User 🕐 Atualizado 2025-01-17 📅 Criado 2024-01-07
90
liltom-eth/llama2-webui

Execute qualquer Llama 2 localmente com a interface de usuário gradio em GPU ou CPU, a partir de qualquer lugar (Linux/Windows/Mac). Utilize `llama2-wrapper` como seu backend local do Llama 2 para Agentes/Aplicativos Generativos.

liltom-eth
⭐ 1,954 Jupyter Notebook 👤 liltom-eth User 🕐 Atualizado 2024-03-22 📅 Criado 2023-07-20
91
tile-ai/TileRT

Runtime Baseado em Blocos para Inferência de LLM de Ultra Baixa Latência

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Atualizado 2026-09-24 📅 Criado 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

Múltiplas GPUs NVIDIA ou Apple Silicon para Inferência de Modelos de Linguagem Grandes?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 Atualizado 2024-05-13 📅 Criado 2023-07-19
93
beam-cloud/beta9

Inferência GPU sem servidor ultrarrápida, sandboxes e trabalhos em segundo plano

beam-cloud
⭐ 1,858 Go 👤 beam-cloud Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-11-15
94
turboderp-org/exllamav3

Uma biblioteca otimizada de quantização e inferência para executar LLMs localmente em GPUs modernas de classe de consumidor

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 Atualizado 2026-11-19 📅 Criado 2025-04-06
95
vllm-project/guidellm

Avalie e Aprimore Suas Implantações de LLM para Necessidades de Inferência do Mundo Real

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-05-29
96
software-mansion/react-native-executorch

Biblioteca de inferência de IA on-device para React Native, de alto desempenho e com foco na privacidade, alimentada pelo runtime ExecuTorch do PyTorch

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-10-16
97
janhq/awesome-local-ai

Um incrível repositório de ferramentas de IA locais

janhq
⭐ 1,791 👤 janhq Organization 🕐 Atualizado 2024-11-13 📅 Criado 2023-09-06
99
LlamaEdge/LlamaEdge

A maneira mais fácil e rápida de executar LLMs personalizados e ajustados localmente ou na borda

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Atualizado 2026-02-08 📅 Criado 2023-10-09
100
Nutlope/turboseek

Um motor de busca de IA inspirado pela Perplexity

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 Atualizado 2026-10-23 📅 Criado 2024-05-26