Git Stars Git Stars

#inference Repositórios

144
Total de Repositórios
870,238
Total de estrelas
6,043
Média de Estrelas/Repositório

144 repositórios no total

51
trymirai/uzu

Um motor de inferência de alto desempenho para modelos de IA

trymirai
⭐ 3,378 Rust 👤 trymirai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-06-23
52
openvinotoolkit/openvino_notebooks

📚 Tutoriais de Jupyter notebook para OpenVINO™

openvinotoolkit
⭐ 3,245 Jupyter Notebook 👤 openvinotoolkit Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-03-11
53
vllm-project/vllm-ascend

Plugin de hardware para vLLM no Huawei Ascend mantido pela comunidade

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-01-29
54
pytorch/ao

Quantização nativa do PyTorch para treinamento e inferência

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-11-03
55
pykeio/ort

Inferência e treinamento rápidos de ML para modelos ONNX em Rust

pykeio
⭐ 2,626 Rust 👤 pykeio Organization 🕐 Atualizado 2026-11-18 📅 Criado 2022-11-26
56
data-infra/cube-studio

CubeStudio é uma plataforma open source nativa em nuvem tudo-em-um de aprendizado de máquina/aprendizado profundo/grandes modelos de IA/MaaS/MLOps/plataforma de inteligência artificial/plataforma de treinamento e inferência, cobrindo todo o pipeline de algoritmos, multilocação, plataforma de aluguel de poder computacional, retransmissão de tokens, orquestração de pipeline de fluxo de trabalho por arrastar e soltar, treinamento distribuído multi-máquina multi-placa, busca de hiperparâmetros, serviços de inferência, virtualização VGPU, colaboração nuvem-borda-dispositivo, computação de borda, plataforma de anotação automatizada, ajuste fino SFT/modelo de recompensa/treinamento de aprendizado por reforço para grandes modelos como DeepSeek, inferência multi-máquina para grandes modelos com vLLM/Ollama/MindIE, agentes inteligentes LLMOps com base de conhecimento privada, mercado de modelos de IA, suporte para escalonamento de poder computacional heterogêneo nacional (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), suporte para IB/RoCE/RDMA e suporte Xinchuang.

data-infra
⭐ 2,615 Python 👤 data-infra User 🕐 Atualizado 2026-10-12 📅 Criado 2024-07-02
57
huggingface/huggingface.js

Use Hugging Face com JavaScript

huggingface
⭐ 2,613 TypeScript 👤 huggingface Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-02-06
58
ddalcu/mlx-serve

Servidor nativo de inferência de LLM para Apple Silicon. Compatível com as APIs da OpenAI e da Anthropic. Sem Python. Aplicativo macOS com backend em Zig e frontend em Swift, com suporte à geração de chat, música, voz e vídeo.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-17
59
google/XNNPACK

Operadores de inferência de rede neural de ponto flutuante de alta eficiência para dispositivos móveis, servidores e Web

google
⭐ 2,506 C 👤 google Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-09-13
60
roboflow/inference

Transforme qualquer computador ou dispositivo de borda em um centro de comando para seus projetos de visão computacional.

roboflow
⭐ 2,500 Python 👤 roboflow Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-07-31
61
theagentrouter/agent-router

Gerencia o Acesso Unificado a Serviços de IA Generativa construídos sobre o Envoy Gateway

theagentrouter
⭐ 2,428 Go 👤 theagentrouter Organization 🕐 Atualizado 2026-11-19 📅 Criado 2024-10-21
62
adithya-s-k/AI-Engineering.academy

Dominando a IA Aplicada, Um Conceito de Cada Vez

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 Atualizado 2026-02-27 📅 Criado 2023-10-05
63
dstackai/dstack

Uma camada de orquestração unificada para computação de IA heterogênea. Ela padroniza o gerenciamento de recursos computacionais e a execução de treinamento e inferência em nuvens de GPU, Kubernetes, máquinas virtuais ou clusters bare metal.

dstackai
⭐ 2,319 Python 👤 dstackai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-01-04
64
mozilla-ai/any-llm

Comunicar-se com um provedor de LLM usando uma única interface

mozilla-ai
⭐ 2,265 Python 👤 mozilla-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-07-14
65
RightNow-AI/picolm

Execute um LLM de 1 bilhão de parâmetros em uma placa de 10 dólares com 256 MB de RAM.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 Atualizado 2026-02-22 📅 Criado 2026-02-19
66
magenta/magenta-js

Magenta.js: Geração de Música e Arte com Aprendizado de Máquina no navegador

magenta
⭐ 2,136 TypeScript 👤 magenta Organization 🕐 Atualizado 2026-06-22 📅 Criado 2018-03-26
67
tairov/llama2.mojo

Inferência do Llama 2 em um único arquivo de puro 🔥

tairov
⭐ 2,126 Mojo 👤 tairov User 🕐 Atualizado 2026-09-30 📅 Criado 2023-09-10
68
deepspeedai/DeepSpeed-MII

MII possibilita inferência de baixa latência e alto rendimento, impulsionado por DeepSpeed.

deepspeedai
⭐ 2,107 Python 👤 deepspeedai Organization 🕐 Atualizado 2025-06-30 📅 Criado 2022-03-23
69
microsoft/aici

AICI: Prompts como Programas (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Atualizado 2025-01-22 📅 Criado 2023-09-26
70
SemiAnalysisAI/InferenceX

Plataforma de pesquisa em inferência de código aberto

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-07-12
71
sgl-project/sglang-omni

Ambiente de execução de alto desempenho para servir sistemas de superinteligência interativos

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-01-07
72
AgibotTech/agibot_x1_infer

O módulo de inferência para AgiBot X1.

AgibotTech
⭐ 1,817 C++ 👤 AgibotTech Organization 🕐 Atualizado 2025-04-03 📅 Criado 2024-10-23
73
StartLuxLabs/StartLux-Decision

Modelos abertos de decisão de 0,8B a 27B: uma probabilidade calibrada para cada opção em uma única passagem e um breve raciocínio apenas quando houver incerteza. Motor para vLLM, llama.cpp e MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Atualizado 2026-10-23 📅 Criado 2026-09-29
74
theopenco/llmgateway

Roteie, gerencie e analise suas solicitações de LLM em vários provedores com uma interface de API unificada.

theopenco
⭐ 1,755 TypeScript 👤 theopenco Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-04-12
75
Maratyszcza/NNPACK

Pacote de aceleração para redes neurais em CPUs multi-core

Maratyszcza
⭐ 1,702 C 👤 Maratyszcza User 🕐 Atualizado 2024-06-11 📅 Criado 2016-03-21
76
ELS-RD/transformer-deploy

Servidor de inferência de CPU/GPU eficiente, escalável e de nível empresarial para modelos transformadores 🤗 Hugging Face 🚀

ELS-RD
⭐ 1,689 Python 👤 ELS-RD Organization 🕐 Atualizado 2024-10-23 📅 Criado 2021-10-31
77
RunanywhereAI/trnrt

O mecanismo de inferência de LLM de código aberto para AWS Trainium: megakernels NKI, contexto de 1 milhão de tokens e API compatível com OpenAI. Da RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-10-30
78
xLLM-AI/xllm

Um mecanismo de inferência de alto desempenho para modelos LLM, VLM e DiT, otimizado para diversos aceleradores de IA. Ele é hospedado pela OpenAtom Foundation.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-08-12
79
Delta-ML/delta

DELTA é uma plataforma de processamento de linguagem natural e fala baseada em aprendizado profundo. Projetos LF AI & DATA: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 Atualizado 2025-04-16 📅 Criado 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

Exportador de GPU NVIDIA para o Prometheus usando o binário nvidia-smi OU o NVML

utkuozdemir
⭐ 1,599 Go 👤 utkuozdemir User 🕐 Atualizado 2026-11-20 📅 Criado 2021-06-08
81
Tencent/TurboTransformers

um runtime rápido e amigável para inferência de transformers (Bert, Albert, GPT2, Decoders, etc) em CPU e GPU.

Tencent
⭐ 1,546 C++ 👤 Tencent Organization 🕐 Atualizado 2025-07-18 📅 Criado 2020-04-20
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 Atualizado 2025-01-08 📅 Criado 2024-10-09
83
sybil-solutions/inference-optimisation-skill

Habilidade de agente para otimizar progressivamente a velocidade de serviço de LLMs locais (decodificação, decodificação especulativa, prefill, KV, inicialização, TTFT) em qualquer hardware e com qualquer quantização

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Atualizado 2026-11-16 📅 Criado 2026-11-16
84
alibaba/rtp-llm

RTP-LLM: O motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-27
85
ebhy/budgetml

Implante um serviço de inferência de ML com orçamento limitado em menos de 10 linhas de código.

ebhy
⭐ 1,345 Python 👤 ebhy Organization 🕐 Atualizado 2024-02-12 📅 Criado 2020-12-27
86
StarlightSearch/EmbedAnything

Inferência, Ingestão e Indexação altamente performantes, modulares, seguras em memória e prontas para produção, desenvolvidas em Rust 🦀

StarlightSearch
⭐ 1,334 Rust 👤 StarlightSearch Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-03-31
87
qualcomm/ai-hub-models

Qualcomm® AI Hub Models é a nossa coleção de modelos de aprendizado de máquina de última geração, otimizados para desempenho (latência, memória, etc.) e prontos para serem implementados em dispositivos Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-20
88
NVIDIA/kvpress

A compressão do cache KV de LLM facilitada

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Atualizado 2026-11-16 📅 Criado 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

Pacote para inferência causal em grafos e em configurações pareadas. Ferramentas para recuperação da estrutura de grafos e dependências estão incluídas.

FenTechSolutions
⭐ 1,242 Python 👤 FenTechSolutions Organization 🕐 Atualizado 2025-10-13 📅 Criado 2017-05-31
90
run-house/kubetorch

Distribua e execute cargas de trabalho de IA no Kubernetes de forma mágica em Python, como o PyTorch para infraestrutura de ML.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Atualizado 2026-05-29 📅 Criado 2022-05-10
91
google/agentmesh

Malha de agentes

google
⭐ 1,208 Go 👤 google Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-21
92
jmaczan/tiny-vllm

Construa seu próprio mecanismo de inferência LLM de alto desempenho em C++ e CUDA - uma versão menor do vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Atualizado 2026-11-15 📅 Criado 2026-02-09
93
chrishayuk/larql

Execute, disponibilize, consulte e edite modelos de IA — um ambiente de execução de modelos em Rust baseado no VINDEX3, um formato de modelo executável e inspecionável.

chrishayuk
⭐ 1,196 Rust 👤 chrishayuk User 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-27
94
usamahz/cpu-performance-engineering

Um roteiro de leitura sobre engenharia de desempenho de CPU, desde uma única instrução até a inferência em produção. Apenas fontes primárias, com um benchmark executável para cada seção.

usamahz
⭐ 1,160 Python 👤 usamahz User 🕐 Atualizado 2026-10-08 📅 Criado 2026-09-17
95
receptron/laya

Execute o Laya, o modelo de tomada de decisões System-1 de código aberto e compatível com Jev, a partir do Node.js / TypeScript via ONNX Runtime

receptron
⭐ 1,092 TypeScript 👤 receptron Organization 🕐 Atualizado 2026-10-17 📅 Criado 2026-09-19
96
Helldez/BigMoeOnEdge

Execute modelos MoE maiores que a sua RAM. MoE de ponta em um celular, laptop ou dispositivo de borda. Sem perdas, com o llama.cpp padrão. Um otimizador adaptativo de streaming. Qualquer hardware, sistema operacional, modelo e quantização, por meio de um servidor local compatível com a OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Atualizado 2026-11-21 📅 Criado 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio — a maneira mais fácil de executar LLMs no seu Mac. Um mecanismo completo em um só lugar.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Atualizado 2026-11-07 📅 Criado 2026-03-05
98
efeslab/Nanoflow

Um framework de serviço de alto desempenho orientado a taxa de transferência para LLMs

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Atualizado 2026-03-29 📅 Criado 2024-08-19
99
openvinotoolkit/model_server

Um servidor de inferência escalável para modelos otimizados com OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-09-26
100
huawei-noah/bolt

Bolt é uma biblioteca de aprendizado profundo com alto desempenho e flexibilidade heterogênea.

huawei-noah
⭐ 958 C++ 👤 huawei-noah Organization 🕐 Atualizado 2025-04-11 📅 Criado 2019-12-02