#inference Repositórios
144 repositórios no total
📚 Introdução à Estatística Moderna - Um livro didático de código aberto em nível universitário com uma abordagem moderna que destaca relações multivariáveis e inferência baseada em simulação.
Um CLI para estimar os requisitos de memória de inferência para modelos Hugging Face, escrito em Python.
Uma interface unificada para executar modelos de deep learning de múltiplos frameworks
Não decore aprendizado de máquina. Entenda-o a partir dos primeiros princípios, incluindo inferência, CUDA, aprendizado profundo, ciência de dados e aprendizado por reforço.
PyTriton é uma interface semelhante a Flask/FastAPI que simplifica a implantação do Triton em ambientes Python.
Remory: aprendizagem de memória residual para compactação de contexto
⚡ Servidor de inferência LLM MLX Swift nativo para Apple Silicon. API compatível com OpenAI, streaming SSD para modelos MoE 100B+, compressão TurboQuant KV cache, app MACOS + iOS iPhone.
Um framework de visão computacional de código aberto para construir e implantar aplicativos em minutos
Mecanismo de inferência de Aprendizado de Máquina para Microcontroladores e Dispositivos Embarcados
Ferramenta de Produtividade de IA - Gratuita e de código aberto, melhora a produtividade do usuário e protege a privacidade e a segurança dos dados. Incluindo, mas não se limitando a: modelos locais exclusivos integrados como ChatGPT, DeepSeek, Phi, Qwen e outros, processamento inteligente em lote de imagens, vídeos, áudios, etc., com um clique.
Pacote Python pequeno, rápido e sem dependências para inferir tipos de arquivos binários verificando a assinatura dos números mágicos
Cadernos de exemplo para trabalhar com o SageMaker Studio Lab. Inscreva-se para obter uma conta no link abaixo!
Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2
Um framework/compilador de aprendizado profundo eficiente de código aberto, escrito em python.
Simulador preciso, em grande escala e extensível para sistemas de inferência de LLM
yolort é uma pilha de tempo de execução para yolov5 em aceleradores especializados como tensorrt, libtorch, onnxruntime, tvm e ncnn.
Modelos de Referência Intel® AI: contém otimizações Intel para executar cargas de trabalho de aprendizado profundo em processadores Intel® Xeon® Scalable e GPUs Intel® para Data Center
Privacy Meter: Uma biblioteca de código aberto para auditar a privacidade de dados em algoritmos estatísticos e de aprendizado de máquina.
Graph Data Science: uma camada de abstração em Python para construir knowledge graphs, integrada com bibliotecas populares de grafos – sobre Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, etc.
Ollama para modelos ML clássicos. Compilador AOT que transforma modelos XGBoost, LightGBM, scikit-learn, CatBoost e ONNX em código de inferência nativo C99. Um comando para carregar, um comando para servir. 336x mais rápido que inferência em Python.
Um mecanismo nativo de inferência de LLM e runtime de agentes em .NET para modelos GGUF. O TensorSharp oferece um aplicativo de console, uma interface de chatbot baseada na Web, um aplicativo para iPhone e APIs HTTP compatíveis com Ollama/OpenAI para acesso programático. É compatível com Windows, macOS, iOS e Linux, com suporte completo a GPU.
Inferência de LLM ponto a ponto no navegador: reúna seus dispositivos para executar grandes modelos abertos destinados a agentes de chat e programação.
Um motor de inferência onnx puro C99, leve e portátil, para dispositivos embarcados com suporte de aceleração de hardware.
O Deep Learning Streamer (DL Streamer) Pipeline Framework é uma estrutura de análise de mídia de streaming de código aberto, baseada na estrutura multimídia GStreamer*, para a criação de pipelines complexas de análise de mídia para a Nuvem ou na Borda (Edge).
Orquestração de tarefas GPU serverless de alto desempenho — a camada de agendamento por trás do wavespeed.ai
Alcance a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e implemente o código.
Este repositório contém os códigos para LipGAN. LipGAN foi publicado como parte do artigo intitulado "Towards Automatic Face-to-Face Translation".
converter o modelo mmdetection para tensorrt, suporta fp16, int8, entrada em lote, forma dinâmica, etc.
Harness de agentes nativo de inferência para maximização de tokens em engenharia de loops
sparkrun — inicie, gerencie e interrompa cargas de trabalho de inferência de LLM em sistemas NVIDIA DGX Spark. Suporte ao vivo: https://discord.com/invite/GH5kRgv6ZD
Biblioteca Python para detecção de objetos pequenos YOLO e segmentação de instâncias
Inferência local para modelos de linguagem de difusão (LLaDA, Dream), escrita em Mojo
Execute suas cargas de trabalho de aprendizado profundo no Kubernetes de forma mais fácil e eficiente.
Triton Model Analyzer é uma ferramenta CLI para ajudar a compreender melhor os requisitos de computação e memória dos modelos do Triton Inference Server.
Estimativa da pose de objetos 3D por aprendizagem profunda, acelerada pela NVIDIA
Um sistema de inferência de alto desempenho para modelos de linguagem grandes, projetado para ambientes de produção.