#llm-inference Repositórios
202 repositórios no total
Uma biblioteca de inferência rápida para executar LLMs localmente em GPUs de classe de consumidor modernas
Compartilhamento de conhecimento de AI Infra e prática de código: PyTorch, vLLM/SGLang, introdução ao framework slime/vime ⚡️, aceleração de desempenho 🚀, fundamentos de modelos grandes 🧠, software e hardware de IA 🔧, etc.
Fluxos de trabalho de referência de IA generativa otimizados para infraestrutura acelerada e arquitetura de microsserviços.
Rapid-MLX é um servidor de inferência de LLM de código aberto (Apache 2.0) para Apple Silicon, compatível com OpenAI e Anthropic, desenvolvido com base no MLX e focado em chamadas de ferramentas confiáveis para agentes de programação. Até 4 vezes mais rápido que o MLX (mlx-lm) da Apple usando os mesmos pesos.
Uma coleção de métodos científicos, processos, algoritmos e sistemas para construir histórias e modelos.
Sua Folha de Referência para Entrevista de Engenharia de IA – Perguntas e Respostas.
Inferência de LLM distribuída. Conecte dispositivos domésticos em um cluster poderoso para acelerar a inferência de LLM. Mais dispositivos significam inferência mais rápida.
Execute GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) nas suas próprias GPUs — a partir de 8 GB de VRAM, com suporte para NVIDIA e AMD, um único painel e uma API compatível com OpenAI e Anthropic.
Adicione um nó de análise em tempo real ao seu banco de dados operacional. O Spice é um motor portátil e acelerado de consultas SQL, pesquisa e inferência de LLM escrito em Rust para aplicações e agentes de IA baseados em dados.
Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.
A forma mais rápida de executar Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B em um Mac: 125 tokens/s no OpenCode em um M5 Max e um modelo 27B em Macs com 16 GB. Decodificação especulativa MTP nativa no Apple Silicon, com precisão em qualquer temperatura. Servidor local compatível com OpenAI e Anthropic.
Sistema de referência do vLLM para implantação em todo o cluster nativa de K8S com otimização de desempenho impulsionada pela comunidade
Medusa: Framework Simples para Acelerar a Geração de LLM com Múltiplas Cabeças de Decodificação
Um mecanismo de inferência local para Apple Silicon, desenvolvido em torno do modelo.
Um agente de programação aberto para o seu terminal, construído por um coletivo comunitário em vez de uma empresa. Traga o seu próprio modelo, mantenha o seu código na sua máquina e não deve nada a ninguém.
Implementação oficial do EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).
Exemplos de código e recursos para DBRX, um modelo de linguagem grande desenvolvido pela Databricks
A biblioteca de inferência de modelos grandes Jitu, possui características como alto desempenho, baixos requisitos de configuração, bom suporte ao chinês e portabilidade.
Curso oficial da SGLang x Datawhale sobre inferência de LLM: entenda a inferência, construa um mini-SGLang do zero, depois leia o código-fonte real do SGLang e faça seu primeiro PR. Disponível em inglês e chinês.
Código, laboratórios e recursos para O'Reilly AI Systems Performance Engineering: otimização de GPU, treinamento distribuído, escalonamento de inferência e ajuste full-stack.
O framework de agentes do ecossistema PHP para construir aplicações orientadas por IA prontas para produção. Conecte componentes (LLMs, ferramentas, bancos de dados vetoriais, memória) a agentes que interagem com seus dados e interface de usuário.
Seu guia rápido para entrevistas de engenharia de IA nas principais empresas de IA — perguntas e respostas.
Aplicativo de IA local e motor de inferência para agentes. Execute LLMs de pesos abertos localmente — privado, 100% offline no seu computador. Junte-se ao nosso Discord: https://discord.com/invite/8wGSsvmg4V
Execute qualquer Llama 2 localmente com a interface de usuário gradio em GPU ou CPU, a partir de qualquer lugar (Linux/Windows/Mac). Utilize `llama2-wrapper` como seu backend local do Llama 2 para Agentes/Aplicativos Generativos.
Múltiplas GPUs NVIDIA ou Apple Silicon para Inferência de Modelos de Linguagem Grandes?
Inferência GPU sem servidor ultrarrápida, sandboxes e trabalhos em segundo plano
Uma biblioteca otimizada de quantização e inferência para executar LLMs localmente em GPUs modernas de classe de consumidor
Avalie e Aprimore Suas Implantações de LLM para Necessidades de Inferência do Mundo Real
Biblioteca de inferência de IA on-device para React Native, de alto desempenho e com foco na privacidade, alimentada pelo runtime ExecuTorch do PyTorch
A maneira mais fácil e rápida de executar LLMs personalizados e ajustados localmente ou na borda