Git Stars Git Stars

#llm-inference Repositórios

202
Total de Repositórios
1.0M
Total de estrelas
5,180
Média de Estrelas/Repositório

202 repositórios no total

101
AnswerDotAI/rerankers

Uma API leve, com poucas dependências e unificada para usar todos os modelos comuns de reranking e cross-encoder.

AnswerDotAI
⭐ 1,644 Python 👤 AnswerDotAI Organization 🕐 Atualizado 2025-12-20 📅 Criado 2024-03-06
102
xLLM-AI/xllm

Um mecanismo de inferência de alto desempenho para modelos LLM, VLM e DiT, otimizado para diversos aceleradores de IA. Ele é hospedado pela OpenAtom Foundation.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-08-12
103
autonomous-ai/Personal-AI-Computer

Configurações de computadores de IA de código aberto, desde desktops com 2 GPUs até servidores com 8 GPUs: CAD, lista de materiais, BIOS e guias de montagem. Adquira o kit do gabinete com risers PCIe ou peça-nos uma verificação gratuita de compatibilidade.

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 Atualizado 2026-11-05 📅 Criado 2025-08-22
104
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: Quantização Pós-Treinamento Precisa e Eficiente para Grandes Modelos de Linguagem

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 Atualizado 2024-07-12 📅 Criado 2022-11-17
105
jax-ml/scaling-book

Início para "Como Escalar Seu Modelo", um breve livro didático no formato de blog sobre escalar LLMs em TPUs

jax-ml
⭐ 1,537 SCSS 👤 jax-ml Organization 🕐 Atualizado 2026-10-19 📅 Criado 2025-02-03
106
theroyallab/tabbyAPI

O servidor oficial da API para Exllama. Compatível com OAI, leve e rápido.

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 Atualizado 2026-11-14 📅 Criado 2023-11-10
107
felladrin/awesome-ai-web-search

Lista de softwares que permitem pesquisar na web com a assistência de IA: https://hf.co/spaces/felladrin/awesome-ai-web-search

felladrin
⭐ 1,521 HTML 👤 felladrin User 🕐 Atualizado 2026-11-21 📅 Criado 2024-11-09
108
sauravpanda/BrowserAI

Execute LLMs locais como llama, deepseek-distill, kokoro e outros diretamente no seu navegador

sauravpanda
⭐ 1,451 TypeScript 👤 sauravpanda User 🕐 Atualizado 2026-07-21 📅 Criado 2025-01-08
110
taielab/awesome-hacking-lists

Uma coleção selecionada de ferramentas de teste de penetração de alto nível e utilitários de produtividade em múltiplos domínios. Junte-se a nós para explorar, contribuir e aprimorar seu kit de ferramentas de hacking!

taielab
⭐ 1,404 👤 taielab User 🕐 Atualizado 2025-12-04 📅 Criado 2020-06-12
112
lean-dojo/LeanCopilot

LLMs como Copilotos para Prova de Teoremas em Lean

lean-dojo
⭐ 1,347 C++ 👤 lean-dojo Organization 🕐 Atualizado 2026-11-16 📅 Criado 2023-09-09
113
hemingkx/SpeculativeDecodingPapers

📰 Artigos e blogs imperdíveis sobre Decodificação Especulativa ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Atualizado 2026-06-27 📅 Criado 2023-09-20
114
aigrantsindia/aigrantsindia

Obter chaves de API para hackathons de IA

aigrantsindia
⭐ 1,287 👤 aigrantsindia User 🕐 Atualizado 2025-06-09 📅 Criado 2025-02-22
115
wici-ai/inferssd

Execute modelos maiores do que a capacidade da sua RAM ou VRAM transmitindo especialistas MoE a partir de um SSD. Baseado no llama.cpp.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-10-22
116
patchy631/time-to-first-token

Um roteiro de 10 semanas, com 30 minutos por dia, para servir e otimizar a inferência de LLMs. vLLM, SGLang, quantização, decodificação especulativa e benchmarking.

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 Atualizado 2026-08-14 📅 Criado 2026-08-02
117
Azure/AzurePublicDataset

Microsoft Azure Traces

Azure
⭐ 1,231 Jupyter Notebook 👤 Azure Organization 🕐 Atualizado 2026-11-17 📅 Criado 2017-08-18
118
eagle-hq/EAGLE-4

Código oficial de inferência do EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Atualizado 2026-11-13 📅 Criado 2026-10-20
119
jmaczan/tiny-vllm

Construa seu próprio mecanismo de inferência LLM de alto desempenho em C++ e CUDA - uma versão menor do vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Atualizado 2026-11-15 📅 Criado 2026-02-09
120
StayLameBro/backburner

Seu iPhone ajuda o Mac a executar um modelo de 27 bilhões de parâmetros: leitura mais rápida dos prompts e mais contexto por meio de um cabo USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Atualizado 2026-11-07 📅 Criado 2026-10-01
121
Tencent/hpc-ops

Biblioteca de Operadores de Inferência LLM de Alto Desempenho

Tencent
⭐ 1,193 C++ 👤 Tencent Organization 🕐 Atualizado 2026-11-19 📅 Criado 2026-01-20
122
character-ai/prompt-poet

Otimiza e simplifica o design de prompts tanto para desenvolvedores quanto para usuários não técnicos, com uma abordagem de baixo código.

character-ai
⭐ 1,160 Python 👤 character-ai Organization 🕐 Atualizado 2026-02-12 📅 Criado 2024-07-17
123
microsoft/onnxruntime-genai

IA generativa com ONNX Runtime

microsoft
⭐ 1,158 C++ 👤 microsoft Organization 🕐 Atualizado 2026-11-17 📅 Criado 2023-11-13
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 Atualizado 2025-11-04 📅 Criado 2025-09-10
125
zhuzilin/ring-flash-attention

Implementação de atenção com atenção flash

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Atualizado 2025-09-10 📅 Criado 2024-02-21
126
jondurbin/airoboros

Implementação personalizável do artigo 'self-instruct'.

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Atualizado 2024-03-07 📅 Criado 2023-04-29
⭐ 1,041 Python 👤 huggingface Organization 🕐 Atualizado 2026-09-24 📅 Criado 2023-10-06
128
tspeterkim/flash-attention-minimal

Flash Attention em ~100 linhas de CUDA (apenas passagem para frente)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 Atualizado 2024-12-30 📅 Criado 2024-03-07
⭐ 1,027 Python 👤 microsoft Organization 🕐 Atualizado 2024-01-04 📅 Criado 2023-07-17
132
MoonshotAI/checkpoint-engine

Checkpoint-engine é um middleware simples para atualizar os pesos do modelo em mecanismos de inferência de LLMs

MoonshotAI
⭐ 1,026 Python 👤 MoonshotAI Organization 🕐 Atualizado 2026-10-22 📅 Criado 2025-09-08
133
shyamsaktawat/OpenAlpha_Evolve

OpenAlpha_Evolve é um framework Python de código aberto inspirado na pesquisa inovadora sobre agentes de codificação autônomos como o AlphaEvolve da DeepMind.

shyamsaktawat
⭐ 1,021 Python 👤 shyamsaktawat User 🕐 Atualizado 2025-05-31 📅 Criado 2025-05-17
134
tingaicompass/AI-Compass

‘AI-Compass’ guiará a comunidade na navegação pelo oceano da tecnologia IA. Se você é um iniciante ou um desenvolvedor avançado, encontrará aqui caminhos para todas as grandes direções da IA. O objetivo é ajudar os desenvolvedores a compreenderem sistematicamente os conceitos-chave da IA, as tecnologias predominantes, as tendências de ponta e, por meio da prática, dominar todo o processo desde a teoria até a aplicação.

tingaicompass
⭐ 1,000 Python 👤 tingaicompass User 🕐 Atualizado 2026-11-20 📅 Criado 2025-05-27
135
likejazz/llama3.np

llama3.np é uma implementação pura em NumPy para o modelo Llama 3.

likejazz
⭐ 991 Python 👤 likejazz User 🕐 Atualizado 2025-04-27 📅 Criado 2024-05-13
136
convergence-ai/proxy-lite

Uma versão mini, de pesos abertos, do nosso assistente Proxy.

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 Atualizado 2025-02-26 📅 Criado 2025-02-10
137
feder-cr/jev

jevos: uma alternativa de código aberto ao Jev e ao Microsoft-Decision-1. Decisões de sim ou não, escolhas e pontuações com probabilidades, na CPU do seu laptop.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Atualizado 2026-10-18 📅 Criado 2024-08-15
138
dalisoft/awesome-hosting

Lista de hospedagens incríveis classificadas pelo preço do plano mínimo

dalisoft
⭐ 970 👤 dalisoft User 🕐 Atualizado 2026-11-21 📅 Criado 2019-05-31
139
microsoft/T-MAC

Inferência de LLM de baixa precisão em CPU/NPU com tabela de consulta

microsoft
⭐ 964 C++ 👤 microsoft Organization 🕐 Atualizado 2025-06-05 📅 Criado 2024-02-02
140
triton-inference-server/tensorrtllm_backend

O Backend Triton TensorRT-LLM

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Atualizado 2026-11-02 📅 Criado 2023-09-12
141
foldl/chatllm.cpp

Implementação pura em C++ de diversos modelos para bate-papo em tempo real no seu computador (CPU e GPU)

foldl
⭐ 942 C++ 👤 foldl User 🕐 Atualizado 2026-11-15 📅 Criado 2023-12-02
142
guidance-ai/llguidance

Saídas Estruturadas Ultrarrápidas

guidance-ai
⭐ 917 Rust 👤 guidance-ai Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-07-25
143
kubernetes-sigs/lws

LeaderWorkerSet e DisaggregatedSet: APIs do Kubernetes para servir IA de forma distribuída e desagregada

kubernetes-sigs
⭐ 909 Go 👤 kubernetes-sigs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-02-22
144
zhihu/ZhiLight

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Atualizado 2026-03-18 📅 Criado 2024-12-06
145
harleyszhang/llm_note

Notas sobre LLM, incluindo inferência de modelo, estrutura do modelo transformer e notas de análise de código de framework LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Atualizado 2026-08-19 📅 Criado 2024-09-18
148
YassKhazzan/openperplex_backend_os

openperplex é um mecanismo de busca de IA de código aberto.

YassKhazzan
⭐ 889 Python 👤 YassKhazzan User 🕐 Atualizado 2024-08-04 📅 Criado 2024-08-03
149
HazyResearch/Megakernels

Kernels, da variedade mega :)

HazyResearch
⭐ 885 Python 👤 HazyResearch Organization 🕐 Atualizado 2026-05-26 📅 Criado 2025-05-27
150
eastriverlee/LLM.swift

LLM.swift é uma biblioteca simples e legível que permite interagir com modelos de linguagem grandes localmente com facilidade para macOS, iOS, watchOS, tvOS e visionOS.

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 Atualizado 2026-07-19 📅 Criado 2023-12-02