#inference Repositórios
Descubra 144 repositórios ativos de código aberto no GitHub marcados com #inference, acumulando um total de 870,238 estrelas (uma média de 6,043 por projeto). O líder deste tópico é vllm-project/vllm, com 97,302 estrelas.
144 repositórios no total
Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória
Ultralytics YOLOv5 no PyTorch para detecção de objetos, segmentação de instâncias, classificação, treinamento e exportação.
DeepSpeed é uma biblioteca de otimização de aprendizado profundo que torna o treinamento e a inferência distribuídos fáceis, eficientes e eficazes.
SGLang é uma estrutura de serviço de alto desempenho para grandes modelos de linguagem e modelos multimodais.
Soluções de ML multiplataforma e personalizáveis para mídia ao vivo e de transmissão.
ncnn é uma estrutura de inferência de rede neural de alto desempenho otimizada para a plataforma móvel
O FreeToken traz a disponibilização de modelos em escala de data center para o seu desktop. Execute modelos massivos localmente, de forma rápida e eficiente.
🎨 A biblioteca exaustiva de Correspondência de Padrões (Pattern Matching) para TypeScript, com inferência de tipo inteligente.
NVIDIA® TensorRT™ é um SDK para inferência de deep learning de alto desempenho em GPUs NVIDIA. Este repositório contém os componentes de código aberto do TensorRT.
OpenVINO™ é um kit de ferramentas de código aberto para otimizar e implantar inferência de IA
O Triton Inference Server fornece uma solução de inferência otimizada para nuvem e borda.
Exemplo de 📓 cadernos Jupyter que demonstram como construir, treinar e implantar modelos de aprendizado de máquina usando 🧠 Amazon SageMaker.
Inferência de Geração de Texto por Modelos de Linguagem Grandes
Implementação em PyTorch de YOLOv3, YOLOv3-SPP e YOLOv3-tiny para detecção de objetos em tempo real com treinamento, validação, inferência e exportação em múltiplos formatos.
Kit de ferramentas pronto para produção para executar IA localmente
Plataforma de inferência de código aberto para modelos de linguagem, visão, embeddings, reranking, imagem, áudio e vídeo. Implante vários mecanismos em hardware heterogêneo, de um laptop a um cluster distribuído. Disponibilize modelos por meio de APIs compatíveis com a OpenAI.
Ajuste finamente (SFT/RL), avalie e implante facilmente o Qwen, o Gemma ou qualquer LLM/VLM agêntico de código aberto!
Guia do Hello AI World para implantação de redes de inferência de deep learning e primitivas de deep vision com TensorRT e NVIDIA Jetson.
Uma estrutura para inferência de modelo eficiente com modelos de omni-modalidade
Runtime MLX nativo para modelos de decisão tipados da Laya — decisões curtas em 7–14 ms no M3 Max. Sem geração de texto, PyTorch ou API na nuvem.
Mooncake é a plataforma de serviço para Kimi, um serviço de LLM líder fornecido pela Moonshot AI.
Uma camada de decisão aberta e programável para modelos e computação.
Adversarial Robustness Toolbox (ART) - Biblioteca Python para Segurança de Machine Learning - Evasão, Envenenamento, Extração, Inferência - Equipes Vermelha e Azul
Um gerenciador de cluster de GPU para serviço de modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU sob demanda acessíveis via SSH.
Superduper: Framework de ponta a ponta para a criação de aplicações e agentes de IA personalizados.
Plataforma de IA unificada, open source, de machine learning/deep learning/grandes modelos nativa da nuvem cube studio, fluxo de trabalho completo de MLOps para algoritmos, plataforma de aluguel de poder computacional, desenvolvimento online em notebook, orquestração de pipeline de fluxo de tarefas arrastar e soltar, treinamento distribuído multi-máquina/multi-GPU, busca de hiperparâmetros, virtualização VGPU para serviço de inferência, computação de borda, anotação automatizada pela plataforma de anotação, ajuste fino SFT de grandes modelos como deepseek/modelo de recompensa/treinamento de aprendizado por reforço, inferência multi-máquina de grandes modelos como vllm/ollama/mindie, base de conhecimento privada, mercado de modelos de IA, suporte ao ecossistema chinês de CPUs/GPUs/NPUs Ascend, suporte a RDMA, suporte a frameworks distribuídos como pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano
Uma estrutura unificada de inferência e pós-treinamento para a geração acelerada de vídeos.
TNN: desenvolvido pelo Tencent Youtu Lab e Guangying Lab, uma estrutura uniforme de inferência de aprendizado profundo para dispositivos móveis, desktop e servidor. O TNN se distingue por várias características notáveis, incluindo sua capacidade de plataforma cruzada (cross-platform), alto desempenho, compressão de modelo e poda de código (code pruning). Baseado em ncnn e Rapidnet, o TNN reforça ainda mais o suporte e a otimização de desempenho para dispositivos móveis, e também aproveita as vantagens de boa extensibilidade e alto desempenho de esforços de código aberto existentes.
Modelos de Deep Learning pré-treinados e demos (alta qualidade e extremamente rápidos)
Qualquer modelo. Qualquer hardware. Compromisso zero. Construído com @ziglang / @openxla / MLIR / @bazelbuild
Biblioteca de código aberto de operações otimizadas de aprendizado profundo (multiplicação de matrizes, convolução e atenção) para CPUs (x64, AArch64, RISC-V) e GPUs Intel. Utilizada pelo PyTorch, TensorFlow, OpenVINO e ONNX Runtime.
CSGHub é uma plataforma de código aberto totalmente nova para gerenciar LLMs, desenvolvida pela equipe OpenCSG. Ele oferece soluções de código aberto e on-premise/SaaS, com recursos comparáveis ao Hugging Face. Obtenha controle total sobre o ciclo de vida de LLMs, datasets e agentes, com compatibilidade de SDK Python com Hugging Face. Junte-se a nós! ⭐️
Crie vídeos no computador que você já possui. O FreeVideo executa o MiniMax H3 com apenas 8 GB de VRAM e 16 GB de RAM, adaptando sua rota de aceleração ao seu hardware.
Toolkit de Inferência e Implantação de Alto Desempenho para LLMs e VLMs baseado no PaddlePaddle
Servidor de inferência de código aberto e cluster de produção para todos os modelos que seu agente precisa.
🚀 Acelere a inferência e o treinamento de 🤗 Transformers, Diffusers, TIMM e Sentence Transformers com ferramentas de otimização de hardware fáceis de usar
Ótimos projetos para recrutamento escolar, recrutamento de outono, recrutamento de primavera e estágios! Leva você a implementar do zero uma biblioteca de inferência de aprendizado profundo de alto desempenho, suportando inferência para modelos grandes como llama2, Unet, Yolov5, Resnet, etc. Implement a high-performance deep learning inference library step by step
Perguntas Frequentes
Qual é o repositório de #inference mais popular no GitHub?
O projeto de código aberto de #inference mais bem classificado no GitHub é vllm-project/vllm, com 97,302 estrelas. Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória
Quais linguagens de programação são mais usadas nos repositórios de #inference?
Entre os projetos de #inference mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, TypeScript, Jupyter Notebook.
Como é calculada a classificação dos repositórios de #inference?
Acompanhamos 144 repositórios ativos de código aberto marcados com #inference (com mais de 500 estrelas), totalizando 870,238 estrelas e uma média de 6,043 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.