#inference-engine Repositórios
Descubra 40 repositórios ativos de código aberto no GitHub marcados com #inference-engine, acumulando um total de 102,063 estrelas (uma média de 2,551 por projeto). O líder deste tópico é huggingface/candle, com 21,367 estrelas.
40 repositórios no total
✍🏻 Mergulhos profundos em código fonte, design de sistemas e blogs de engenharia | Halfrost-Field: Notas de análise de código fonte, design de sistemas e prática de engenharia
Um modelo Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.
FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelo e aprendizado federado. O FEDML Launch, um agendador multi-cloud, permite ainda a execução de quaisquer tarefas de IA em qualquer cloud de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é a sua plataforma de IA generativa em escala.
Ótimos projetos para recrutamento escolar, recrutamento de outono, recrutamento de primavera e estágios! Leva você a implementar do zero uma biblioteca de inferência de aprendizado profundo de alto desempenho, suportando inferência para modelos grandes como llama2, Unet, Yolov5, Resnet, etc. Implement a high-performance deep learning inference library step by step
xDiT: Um Mecanismo de Inferência Escalável para Transformers de Difusão (DiTs) com Paralelismo Massivo
A forma mais rápida de executar Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B em um Mac: 125 tokens/s no OpenCode em um M5 Max e um modelo 27B em Macs com 16 GB. Decodificação especulativa MTP nativa no Apple Silicon, com precisão em qualquer temperatura. Servidor local compatível com OpenAI e Anthropic.
Curso oficial da SGLang x Datawhale sobre inferência de LLM: entenda a inferência, construa um mini-SGLang do zero, depois leia o código-fonte real do SGLang e faça seu primeiro PR. Disponível em inglês e chinês.
OneDiff: Uma biblioteca de aceleração pronta para uso para modelos de difusão.
NobodyWho é um motor de inferência que permite executar LLMs localmente e de forma eficiente em qualquer dispositivo.
Um mecanismo de inferência de alto desempenho para modelos LLM, VLM e DiT, otimizado para diversos aceleradores de IA. Ele é hospedado pela OpenAtom Foundation.
Inferência local com comportamento semelhante ao de uma API de ponta: Qwen3.8-Flash-Next no AMD Strix Halo, além de pequenos modelos NPU, pelas APIs da OpenAI e da Anthropic em uma única porta.
Execute grandes modelos de IA no seu próprio PC: Qwen3.8-Flash-Next no mecanismo da Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V em um segundo mecanismo desenvolvido para a PolyStrata. Instalação com um clique para Windows e Linux, com API OpenAI/Anthropic no localhost.
Qualcomm® AI Hub Models é a nossa coleção de modelos de aprendizado de máquina de última geração, otimizados para desempenho (latência, memória, etc.) e prontos para serem implementados em dispositivos Qualcomm®.
Implementação oficial do Gamer: um modelo fundacional generalista de visão, linguagem e ação para agentes de jogos em tempo real com horizonte de longo prazo
Paddle.js é um projeto web para Baidu PaddlePaddle, que é um framework de deep learning de código aberto executado no navegador. O Paddle.js pode carregar um modelo pré-treinado ou transformar um modelo do paddle-hub com as ferramentas de transformação de modelo fornecidas pelo Paddle.js. Ele pode ser executado em qualquer navegador com suporte para WebGL/WebGPU/WebAssembly. Ele também pode ser executado em Baidu Smartprogram e WX miniprogram.
Execute o Kimi K3 localmente na CPU com cerca de 55 GB de RAM de tempo de execução medida. Um servidor de inferência Linux de arquivo único alimentado pelo cPilot Runtime.
MLX Studio — a maneira mais fácil de executar LLMs no seu Mac. Um mecanismo completo em um só lugar.
Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.
Framework de Visão Computacional e Análise de Vídeo em Python com Baterias Incluídas
[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLM de Forma Eficiente; [MLSys'25] LServe: Servir LLM de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada
Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2
Decodificação de LLM até 4× mais rápida no Apple Silicon, sem perdas. Port nativo para MLX da decodificação especulativa DSpark da DeepSeek e DFlash da z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternário.
37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.
Um mecanismo nativo de inferência de LLM e runtime de agentes em .NET para modelos GGUF. O TensorSharp oferece um aplicativo de console, uma interface de chatbot baseada na Web, um aplicativo para iPhone e APIs HTTP compatíveis com Ollama/OpenAI para acesso programático. É compatível com Windows, macOS, iOS e Linux, com suporte completo a GPU.
Execute um modelo de IA de 105 GB em um Mac que não tem espaço para armazená-lo. Qwen3.8-Flash-Next de 4 bits, transmitido por streaming a partir de um SSD em Macs com Apple Silicon e 16–64 GB de memória. Totalmente nativo em Swift, MLX e Metal. Funciona offline, sem Python. CLI, biblioteca Swift e APIs Ollama/OpenAI/Anthropic. Compatível com Claude Code e Codex.
Ainda Outro Modelo de Linguagem: inferência LLM em C++/CUDA, sem bibliotecas exceto para E/S
Uma representação base comum do código fonte Python para pylint e outros projetos
Recrutamento escolar, outono, primavera, ótimos projetos de estágio, levando você a implementar do zero um framework de inferência de grandes modelos suportando Llama2/3 e Qwen2.5.
Inferência rápida e exata para os modelos StartLux-Decision em GPUs NVIDIA: os arquivos GGUF disponibilizados são executados em tensor cores int8 e de 4 bits por meio da API /v1/systemone, com latência até 5,3 vezes menor que a do vLLM em FP8 e respostas idênticas bit a bit.
Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.
Motor de inferência para dispositivos Intel. Sirva modelos LLM, VLM, Whisper, Kokoro-TTS, Embedding e Rerank através de endpoints da OpenAI.
Execute vários agentes de IA ao mesmo tempo no seu Mac, até 3 vezes mais rápido.
Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada
Perguntas Frequentes
Qual é o repositório de #inference-engine mais popular no GitHub?
O projeto de código aberto de #inference-engine mais bem classificado no GitHub é huggingface/candle, com 21,367 estrelas. Framework ML minimalista para Rust
Quais linguagens de programação são mais usadas nos repositórios de #inference-engine?
Entre os projetos de #inference-engine mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Rust, Go.
Como é calculada a classificação dos repositórios de #inference-engine?
Acompanhamos 40 repositórios ativos de código aberto marcados com #inference-engine (com mais de 500 estrelas), totalizando 102,063 estrelas e uma média de 2,551 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.