Git Stars Git Stars

#inference-engine Repositórios

Descubra 40 repositórios ativos de código aberto no GitHub marcados com #inference-engine, acumulando um total de 102,063 estrelas (uma média de 2,551 por projeto). O líder deste tópico é huggingface/candle, com 21,367 estrelas.

40
Total de Repositórios
102,063
Total de estrelas
2,551
Média de Estrelas/Repositório

40 repositórios no total

1
huggingface/candle

Framework ML minimalista para Rust

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 Atualizado 2026-11-19 📅 Criado 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 Mergulhos profundos em código fonte, design de sistemas e blogs de engenharia | Halfrost-Field: Notas de análise de código fonte, design de sistemas e prática de engenharia

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 Atualizado 2026-11-10 📅 Criado 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

Um modelo Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Atualizado 2026-11-16 📅 Criado 2026-08-01
4
bbycroft/llm-viz

Visualização 3D de um LLM estilo GPT

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 Atualizado 2026-08-10 📅 Criado 2023-03-01
5
FedML-AI/FedML

FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelo e aprendizado federado. O FEDML Launch, um agendador multi-cloud, permite ainda a execução de quaisquer tarefas de IA em qualquer cloud de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é a sua plataforma de IA generativa em escala.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Atualizado 2026-11-12 📅 Criado 2020-07-21
6
zjhellofss/KuiperInfer

Ótimos projetos para recrutamento escolar, recrutamento de outono, recrutamento de primavera e estágios! Leva você a implementar do zero uma biblioteca de inferência de aprendizado profundo de alto desempenho, suportando inferência para modelos grandes como llama2, Unet, Yolov5, Resnet, etc. Implement a high-performance deep learning inference library step by step

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Atualizado 2025-06-22 📅 Criado 2022-11-21
7
Luce-Org/lucebox

Motor de inferência Lucebox para hardware heterogêneo e GPUs de consumo

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-03
8
xdit-project/xDiT

xDiT: Um Mecanismo de Inferência Escalável para Transformers de Difusão (DiTs) com Paralelismo Massivo

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-03-19
9
youssofal/MTPLX

A forma mais rápida de executar Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B em um Mac: 125 tokens/s no OpenCode em um M5 Max e um modelo 27B em Macs com 16 GB. Decodificação especulativa MTP nativa no Apple Silicon, com precisão em qualquer temperatura. Servidor local compatível com OpenAI e Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Atualizado 2026-11-21 📅 Criado 2026-05-02
10
hyperjumptech/grule-rule-engine

Implementação do motor de regras em Golang

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 Atualizado 2026-02-10 📅 Criado 2019-12-13
11
datawhalechina/zero-to-sglang

Curso oficial da SGLang x Datawhale sobre inferência de LLM: entenda a inferência, construa um mini-SGLang do zero, depois leia o código-fonte real do SGLang e faça seu primeiro PR. Disponível em inglês e chinês.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Atualizado 2026-11-17 📅 Criado 2026-08-27
12
ovg-project/kvcached

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e além

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-05-27
13
siliconflow/onediff

OneDiff: Uma biblioteca de aceleração pronta para uso para modelos de difusão.

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 Atualizado 2025-12-04 📅 Criado 2022-09-21
14
dphnAI/sonar

Mecanismo de inferência de LLM em larga escala

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Atualizado 2026-11-17 📅 Criado 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho é um motor de inferência que permite executar LLMs localmente e de forma eficiente em qualquer dispositivo.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 Atualizado 2026-11-19 📅 Criado 2024-09-03
16
xLLM-AI/xllm

Um mecanismo de inferência de alto desempenho para modelos LLM, VLM e DiT, otimizado para diversos aceleradores de IA. Ele é hospedado pela OpenAtom Foundation.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-08-12
17
peonist-ai/halogen-flash-server

Inferência local com comportamento semelhante ao de uma API de ponta: Qwen3.8-Flash-Next no AMD Strix Halo, além de pequenos modelos NPU, pelas APIs da OpenAI e da Anthropic em uma única porta.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Atualizado 2026-11-18 📅 Criado 2026-08-26
18
simplexai-labs/PolyStrata

Execute grandes modelos de IA no seu próprio PC: Qwen3.8-Flash-Next no mecanismo da Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V em um segundo mecanismo desenvolvido para a PolyStrata. Instalação com um clique para Windows e Linux, com API OpenAI/Anthropic no localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub Models é a nossa coleção de modelos de aprendizado de máquina de última geração, otimizados para desempenho (latência, memória, etc.) e prontos para serem implementados em dispositivos Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-20
20
RainBowLuoCS/Gamer

Implementação oficial do Gamer: um modelo fundacional generalista de visão, linguagem e ação para agentes de jogos em tempo real com horizonte de longo prazo

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 Atualizado 2026-11-16 📅 Criado 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.js é um projeto web para Baidu PaddlePaddle, que é um framework de deep learning de código aberto executado no navegador. O Paddle.js pode carregar um modelo pré-treinado ou transformar um modelo do paddle-hub com as ferramentas de transformação de modelo fornecidas pelo Paddle.js. Ele pode ser executado em qualquer navegador com suporte para WebGL/WebGPU/WebAssembly. Ele também pode ser executado em Baidu Smartprogram e WX miniprogram.

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 Atualizado 2024-04-03 📅 Criado 2020-03-26
22
wangeai/K3Flight

Execute o Kimi K3 localmente na CPU com cerca de 55 GB de RAM de tempo de execução medida. Um servidor de inferência Linux de arquivo único alimentado pelo cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Atualizado 2026-07-31 📅 Criado 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio — a maneira mais fácil de executar LLMs no seu Mac. Um mecanismo completo em um só lugar.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Atualizado 2026-11-07 📅 Criado 2026-03-05
24
zhihu/ZhiLight

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Atualizado 2026-03-18 📅 Criado 2024-12-06
25
insight-platform/Savant

Framework de Visão Computacional e Análise de Vídeo em Python com Baterias Incluídas

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 Atualizado 2026-09-23 📅 Criado 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLM de Forma Eficiente; [MLSys'25] LServe: Servir LLM de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Atualizado 2025-03-06 📅 Criado 2024-05-06
27
pegainfer-project/pegainfer

Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-17
28
ARahim3/mlx-dspark

Decodificação de LLM até 4× mais rápida no Apple Silicon, sem perdas. Port nativo para MLX da decodificação especulativa DSpark da DeepSeek e DFlash da z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternário.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Atualizado 2026-11-08 📅 Criado 2026-06-29
29
prabanta-dev/janas

37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-09-20
30
zhongkaifu/TensorSharp

Um mecanismo nativo de inferência de LLM e runtime de agentes em .NET para modelos GGUF. O TensorSharp oferece um aplicativo de console, uma interface de chatbot baseada na Web, um aplicativo para iPhone e APIs HTTP compatíveis com Ollama/OpenAI para acesso programático. É compatível com Windows, macOS, iOS e Linux, com suporte completo a GPU.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Atualizado 2026-11-20 📅 Criado 2026-04-03
31
carloslfu/slotstream

Execute um modelo de IA de 105 GB em um Mac que não tem espaço para armazená-lo. Qwen3.8-Flash-Next de 4 bits, transmitido por streaming a partir de um SSD em Macs com Apple Silicon e 16–64 GB de memória. Totalmente nativo em Swift, MLX e Metal. Funciona offline, sem Python. CLI, biblioteca Swift e APIs Ollama/OpenAI/Anthropic. Compatível com Claude Code e Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Atualizado 2026-11-17 📅 Criado 2026-08-28
32
andrewkchan/yalm

Ainda Outro Modelo de Linguagem: inferência LLM em C++/CUDA, sem bibliotecas exceto para E/S

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Atualizado 2025-09-13 📅 Criado 2024-10-02
33
pylint-dev/astroid

Uma representação base comum do código fonte Python para pylint e outros projetos

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-12-08
34
zjhellofss/KuiperLLama

Recrutamento escolar, outono, primavera, ótimos projetos de estágio, levando você a implementar do zero um framework de inferência de grandes modelos suportando Llama2/3 e Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Atualizado 2025-10-28 📅 Criado 2024-04-25
35
StartLuxLabs/StartLux-Prism

Inferência rápida e exata para os modelos StartLux-Decision em GPUs NVIDIA: os arquivos GGUF disponibilizados são executados em tensor cores int8 e de 4 bits por meio da API /v1/systemone, com latência até 5,3 vezes menor que a do vLLM em FP8 e respostas idênticas bit a bit.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Atualizado 2026-10-27 📅 Criado 2026-10-13
36
zengxiao-he/tessera

Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Atualizado 2026-10-09 📅 Criado 2026-06-05
37
SearchSavior/OpenArc

Motor de inferência para dispositivos Intel. Sirva modelos LLM, VLM, Whisper, Kokoro-TTS, Embedding e Rerank através de endpoints da OpenAI.

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 Atualizado 2026-11-21 📅 Criado 2025-02-11
38
OmniJev/Flide

🔥🔥 O mecanismo de inferência extremamente rápido para modelos de decisão

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-24
39
Generated-Computers/Locals

Execute vários agentes de IA ao mesmo tempo no seu Mac, até 3 vezes mais rápido.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-12
40
brontoguana/krasis

Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Atualizado 2026-11-12 📅 Criado 2026-02-09

Perguntas Frequentes

1

Qual é o repositório de #inference-engine mais popular no GitHub?

O projeto de código aberto de #inference-engine mais bem classificado no GitHub é huggingface/candle, com 21,367 estrelas. Framework ML minimalista para Rust

2

Quais linguagens de programação são mais usadas nos repositórios de #inference-engine?

Entre os projetos de #inference-engine mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Rust, Go.

3

Como é calculada a classificação dos repositórios de #inference-engine?

Acompanhamos 40 repositórios ativos de código aberto marcados com #inference-engine (com mais de 500 estrelas), totalizando 102,063 estrelas e uma média de 2,551 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.