Git Stars Git Stars

#llm-inference Repositórios

202
Total de Repositórios
1.0M
Total de estrelas
5,180
Média de Estrelas/Repositório

202 repositórios no total

151
nace-ai/kapitsa

Motor de inferência ultrarrápido para Apple Silicon, otimizado para Qwen e Nemotron. Compatível com as APIs da OpenAI e da Anthropic. Desenvolvido pela equipe da nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-16
152
warpfront/hipfire

Motor de inferência de LLM nativo RDNA em Rust.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-21
153
mukel/llama3.java

Inferência Llama 3+ em Java puro

mukel
⭐ 818 Java 👤 mukel User 🕐 Atualizado 2026-04-24 📅 Criado 2024-04-25
154
vince-lam/awesome-local-llms

Compare projetos de LLM locais de código aberto compatíveis por suas métricas para avaliar a popularidade e a atividade.

vince-lam
⭐ 816 Python 👤 vince-lam User 🕐 Atualizado 2026-11-16 📅 Criado 2024-02-29
155
ARahim3/kaggle-tpu-lab

Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Atualizado 2026-10-06 📅 Criado 2026-08-31
156
tetherto/qvac

SDK de IA local de código aberto — execute IA no dispositivo sem nuvem nem chaves de API. Compatível com GGUF, RAG, geração de imagens, música e vídeo, conversão de fala em texto, inferência P2P e muito mais. Multiplataforma: Linux, macOS, Windows, Android e iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-01-03
157
SimpleBerry/LLaMA-O1

Modelos de Raciocínio de Grande Porte

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 Atualizado 2024-12-03 📅 Criado 2024-10-10
158
D-Keqi/mtla

MTLA: Atenção Latente Temporal Multi-cabeça

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 Atualizado 2025-10-06 📅 Criado 2025-05-19
159
microsoft/BitBLAS

BitBLAS é uma biblioteca para suportar multiplicações de matrizes de precisão mista, especialmente para implantação de LLM quantizados.

microsoft
⭐ 751 Python 👤 microsoft Organization 🕐 Atualizado 2025-08-06 📅 Criado 2024-02-23
160
pegainfer-project/pegainfer

Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-17
161
ARahim3/mlx-dspark

Decodificação de LLM até 4× mais rápida no Apple Silicon, sem perdas. Port nativo para MLX da decodificação especulativa DSpark da DeepSeek e DFlash da z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternário.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Atualizado 2026-11-08 📅 Criado 2026-06-29
162
Avarok-Cybersecurity/atlas

Motor de inferência puro em Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Atualizado 2026-11-16 📅 Criado 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse: Liberte o potencial dos LLMs através de tutoriais selecionados, melhores práticas e código pronto a usar para treinamento e inferência personalizados.

ghimiresunil
⭐ 734 Jupyter Notebook 👤 ghimiresunil User 🕐 Atualizado 2026-03-13 📅 Criado 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows - Aplicações LLM Simples, Explícitas e Transparentes

stoyan-stoyanov
⭐ 706 Python 👤 stoyan-stoyanov User 🕐 Atualizado 2025-02-20 📅 Criado 2023-06-26
165
feifeibear/long-context-attention

USP: Atenção Unificada (também conhecida como Híbrida, 2D) de Sequência Paralela para Treinamento e Inferência de Modelos de Transformers de Contexto Longo

feifeibear
⭐ 697 Python 👤 feifeibear User 🕐 Atualizado 2026-09-16 📅 Criado 2024-03-27
167
MDK8888/GPTFast

Acelere seus Hugging Face Transformers 7.6-9x. Nativo do Hugging Face e PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Atualizado 2024-08-22 📅 Criado 2024-02-18
168
google-deepmind/recurrentgemma

Modelo de linguagem de pesos abertos do Google DeepMind, baseado no Griffin.

google-deepmind
⭐ 686 Python 👤 google-deepmind Organization 🕐 Atualizado 2026-02-06 📅 Criado 2024-03-25
169
carloslfu/slotstream

Execute um modelo de IA de 105 GB em um Mac que não tem espaço para armazená-lo. Qwen3.8-Flash-Next de 4 bits, transmitido por streaming a partir de um SSD em Macs com Apple Silicon e 16–64 GB de memória. Totalmente nativo em Swift, MLX e Metal. Funciona offline, sem Python. CLI, biblioteca Swift e APIs Ollama/OpenAI/Anthropic. Compatível com Claude Code e Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Atualizado 2026-11-17 📅 Criado 2026-08-28
170
run-ai/genv

Ambiente de GPU e gerenciamento de cluster com suporte a LLM

run-ai
⭐ 657 Python 👤 run-ai Organization 🕐 Atualizado 2024-05-16 📅 Criado 2022-09-04
172
NightMean/OlliteRT

Transforme seu telefone Android em um servidor de inferência de LLM compatível com OpenAI — totalmente local, privado e de código aberto

NightMean
⭐ 645 Kotlin 👤 NightMean User 🕐 Atualizado 2026-11-07 📅 Criado 2026-04-06
173
NotPunchnox/rkllama

Alternativa ao Ollama para Rockchip NPU: Uma solução eficiente para executar modelos de IA e aprendizado profundo em dispositivos Rockchip com suporte otimizado ao NPU (rkllm)

NotPunchnox
⭐ 631 Python 👤 NotPunchnox User 🕐 Atualizado 2026-10-28 📅 Criado 2024-12-30
174
sixgpt/miner

Minerador Oficial para SixGPT

sixgpt
⭐ 611 Shell 👤 sixgpt Organization 🕐 Atualizado 2024-12-19 📅 Criado 2024-10-06
175
felladrin/MiniSearch

Plataforma minimalista de pesquisa na web com um assistente de IA que é executado diretamente no seu navegador. Demo: https://felladrin-minisearch.hf.space

felladrin
⭐ 611 TypeScript 👤 felladrin User 🕐 Atualizado 2026-11-21 📅 Criado 2023-10-14
176
jaylfc/taOS

Sistema operacional de agentes de IA auto-hospedado. Sua memória, chats, agentes e arquivos permanecem no hardware que você possui, offline por padrão, na nuvem por escolha. Inclui memória de IA offline (taOSmd), chat em grupo multi-framework auto-hospedado, um desktop web completo + loja de aplicativos e clustering automático no hardware de consumo que você já possui (Orange/Raspberry Pi, Mac mini, PC gamer).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Atualizado 2026-11-20 📅 Criado 2026-04-05
177
andrewkchan/yalm

Ainda Outro Modelo de Linguagem: inferência LLM em C++/CUDA, sem bibliotecas exceto para E/S

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Atualizado 2025-09-13 📅 Criado 2024-10-02
178
huggingface/swift-chat

Aplicativo Mac para demonstrar swift-transformers

huggingface
⭐ 592 Swift 👤 huggingface Organization 🕐 Atualizado 2024-07-29 📅 Criado 2023-05-11
179
zjhellofss/KuiperLLama

Recrutamento escolar, outono, primavera, ótimos projetos de estágio, levando você a implementar do zero um framework de inferência de grandes modelos suportando Llama2/3 e Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Atualizado 2025-10-28 📅 Criado 2024-04-25
180
kacper-daftcode/vLLM-Moet

Modelos MoE de ponta em RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash em 4 RTX PRO 6000, como híbrido GPU+CPU em 4 RTX 5090 e especialistas de 2 bits no vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Atualizado 2026-11-18 📅 Criado 2026-06-15
181
SakanaAI/treequest

Uma biblioteca de pesquisa em árvore com API flexível para dimensionamento em tempo de inferência de LLM

SakanaAI
⭐ 580 Python 👤 SakanaAI Organization 🕐 Atualizado 2026-11-08 📅 Criado 2025-06-30
182
devflowinc/uzi

CLI para executar um grande número de agentes de codificação em paralelo usando worktrees do Git

devflowinc
⭐ 579 Go 👤 devflowinc Organization 🕐 Atualizado 2025-06-04 📅 Criado 2025-05-27
183
rohan-paul/LLM-FineTuning-Large-Language-Models

Ajuste Fino de LLM (Large Language Model)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Atualizado 2025-04-01 📅 Criado 2023-10-22
184
StartLuxLabs/StartLux-Prism

Inferência rápida e exata para os modelos StartLux-Decision em GPUs NVIDIA: os arquivos GGUF disponibilizados são executados em tensor cores int8 e de 4 bits por meio da API /v1/systemone, com latência até 5,3 vezes menor que a do vLLM em FP8 e respostas idênticas bit a bit.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Atualizado 2026-10-27 📅 Criado 2026-10-13
185
yassa9/qwen600

Motor de inferência CUDA-only qwen3-0.6B mini estático e sem frescuras de lote único

yassa9
⭐ 559 Cuda 👤 yassa9 User 🕐 Atualizado 2025-09-08 📅 Criado 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5 é uma versão aprimorada do Yi, proporcionando um desempenho superior em codificação, matemática, raciocínio e capacidade de seguir instruções.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Atualizado 2024-11-11 📅 Criado 2024-05-10
189
Noeda/rllama

Implementação Rust+OpenCL+AVX2 do código de inferência LLaMA

Noeda
⭐ 551 Rust 👤 Noeda User 🕐 Atualizado 2024-02-12 📅 Criado 2023-03-11
190
OmniJev/Flide

🔥🔥 O mecanismo de inferência extremamente rápido para modelos de decisão

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl: execute o DeepSeek-V4.1-Flash, com todos os 552B parâmetros, como um agente local de programação em um único PC gamer (RTX 4090 + 110 GB de RAM): ~33 tok/s no modo agente, ~41 no modo rápido e contexto de 512K. Além disso, Inkling-2-Mini (Thinking Machines, mecanismo próprio + gerador de rascunhos MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Especialistas MoE distribuídos em camadas entre VRAM, RAM e NVMe (Xolotl Direct). API da OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: Inferência Eficiente de LLM de Contexto Longo com Cabeças de Recuperação e Streaming

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 Atualizado 2025-02-10 📅 Criado 2024-10-15
193
microsoft/sarathi-serve

Um motor de serviço de baixa latência e alto rendimento para LLMs

microsoft
⭐ 539 Python 👤 microsoft Organization 🕐 Atualizado 2026-11-17 📅 Criado 2023-11-02
194
v-modal/awesome-jev-tools

Uma lista cuidadosamente selecionada de ferramentas criadas para o Jev — o modelo System One da TypeSafe AI para decisões tipadas.

v-modal
⭐ 537 👤 v-modal Organization 🕐 Atualizado 2026-11-15 📅 Criado 2026-09-19
195
brontoguana/krasis

Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Atualizado 2026-11-12 📅 Criado 2026-02-09
196
ome-projects/ome

Open Model Engine (OME) — operador Kubernetes para serving de LLMs, agendamento de GPUs e gerenciamento do ciclo de vida dos modelos. Compatível com SGLang, vLLM, TensorRT-LLM e Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

Aprenda engenharia de inferência de LLM passo a passo: do cache KV, PagedAttention e processamento contínuo em lotes até vLLM, SGLang e GPUs.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Atualizado 2026-11-09 📅 Criado 2026-08-18
198
huawei-csl/KVarN

KVarN é um backend nativo do vLLM para quantização do cache KV dos seus agentes: de 3 a 5 vezes mais contexto, throughput superior ao FP16 e precisão de nível FP16. Sem calibração, basta uma flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Atualizado 2026-06-22 📅 Criado 2026-05-29
199
expectedparrot/edsl

Projete, conduza e analise os resultados de pesquisas e experimentos baseados em IA. Simule pesquisas em ciências sociais e estudos de mercado com grandes quantidades de agentes de IA e modelos de linguagem de grande escala.

expectedparrot
⭐ 521 Python 👤 expectedparrot Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-01-02
200
turboderp-org/exui

Interface Web para ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Atualizado 2025-02-05 📅 Criado 2023-10-29