#llm-inference Repositórios
202 repositórios no total
Motor de inferência ultrarrápido para Apple Silicon, otimizado para Qwen e Nemotron. Compatível com as APIs da OpenAI e da Anthropic. Desenvolvido pela equipe da nace.ai
Compare projetos de LLM locais de código aberto compatíveis por suas métricas para avaliar a popularidade e a atividade.
Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.
SDK de IA local de código aberto — execute IA no dispositivo sem nuvem nem chaves de API. Compatível com GGUF, RAG, geração de imagens, música e vídeo, conversão de fala em texto, inferência P2P e muito mais. Multiplataforma: Linux, macOS, Windows, Android e iOS.
BitBLAS é uma biblioteca para suportar multiplicações de matrizes de precisão mista, especialmente para implantação de LLM quantizados.
Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2
Decodificação de LLM até 4× mais rápida no Apple Silicon, sem perdas. Port nativo para MLX da decodificação especulativa DSpark da DeepSeek e DFlash da z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternário.
LLM-PowerHouse: Liberte o potencial dos LLMs através de tutoriais selecionados, melhores práticas e código pronto a usar para treinamento e inferência personalizados.
USP: Atenção Unificada (também conhecida como Híbrida, 2D) de Sequência Paralela para Treinamento e Inferência de Modelos de Transformers de Contexto Longo
Acelere seus Hugging Face Transformers 7.6-9x. Nativo do Hugging Face e PyTorch.
Modelo de linguagem de pesos abertos do Google DeepMind, baseado no Griffin.
Execute um modelo de IA de 105 GB em um Mac que não tem espaço para armazená-lo. Qwen3.8-Flash-Next de 4 bits, transmitido por streaming a partir de um SSD em Macs com Apple Silicon e 16–64 GB de memória. Totalmente nativo em Swift, MLX e Metal. Funciona offline, sem Python. CLI, biblioteca Swift e APIs Ollama/OpenAI/Anthropic. Compatível com Claude Code e Codex.
Transforme seu telefone Android em um servidor de inferência de LLM compatível com OpenAI — totalmente local, privado e de código aberto
Alternativa ao Ollama para Rockchip NPU: Uma solução eficiente para executar modelos de IA e aprendizado profundo em dispositivos Rockchip com suporte otimizado ao NPU (rkllm)
Plataforma minimalista de pesquisa na web com um assistente de IA que é executado diretamente no seu navegador. Demo: https://felladrin-minisearch.hf.space
Sistema operacional de agentes de IA auto-hospedado. Sua memória, chats, agentes e arquivos permanecem no hardware que você possui, offline por padrão, na nuvem por escolha. Inclui memória de IA offline (taOSmd), chat em grupo multi-framework auto-hospedado, um desktop web completo + loja de aplicativos e clustering automático no hardware de consumo que você já possui (Orange/Raspberry Pi, Mac mini, PC gamer).
Ainda Outro Modelo de Linguagem: inferência LLM em C++/CUDA, sem bibliotecas exceto para E/S
Recrutamento escolar, outono, primavera, ótimos projetos de estágio, levando você a implementar do zero um framework de inferência de grandes modelos suportando Llama2/3 e Qwen2.5.
Modelos MoE de ponta em RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash em 4 RTX PRO 6000, como híbrido GPU+CPU em 4 RTX 5090 e especialistas de 2 bits no vLLM v0.24.0
Uma biblioteca de pesquisa em árvore com API flexível para dimensionamento em tempo de inferência de LLM
CLI para executar um grande número de agentes de codificação em paralelo usando worktrees do Git
Inferência rápida e exata para os modelos StartLux-Decision em GPUs NVIDIA: os arquivos GGUF disponibilizados são executados em tensor cores int8 e de 4 bits por meio da API /v1/systemone, com latência até 5,3 vezes menor que a do vLLM em FP8 e respostas idênticas bit a bit.
Motor de inferência CUDA-only qwen3-0.6B mini estático e sem frescuras de lote único
Yi-1.5 é uma versão aprimorada do Yi, proporcionando um desempenho superior em codificação, matemática, raciocínio e capacidade de seguir instruções.
Xolotl: execute o DeepSeek-V4.1-Flash, com todos os 552B parâmetros, como um agente local de programação em um único PC gamer (RTX 4090 + 110 GB de RAM): ~33 tok/s no modo agente, ~41 no modo rápido e contexto de 512K. Além disso, Inkling-2-Mini (Thinking Machines, mecanismo próprio + gerador de rascunhos MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Especialistas MoE distribuídos em camadas entre VRAM, RAM e NVMe (Xolotl Direct). API da OpenAI + Anthropic.
[ICLR 2025] DuoAttention: Inferência Eficiente de LLM de Contexto Longo com Cabeças de Recuperação e Streaming
Uma lista cuidadosamente selecionada de ferramentas criadas para o Jev — o modelo System One da TypeSafe AI para decisões tipadas.
Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada
Open Model Engine (OME) — operador Kubernetes para serving de LLMs, agendamento de GPUs e gerenciamento do ciclo de vida dos modelos. Compatível com SGLang, vLLM, TensorRT-LLM e Triton
Aprenda engenharia de inferência de LLM passo a passo: do cache KV, PagedAttention e processamento contínuo em lotes até vLLM, SGLang e GPUs.
KVarN é um backend nativo do vLLM para quantização do cache KV dos seus agentes: de 3 a 5 vezes mais contexto, throughput superior ao FP16 e precisão de nível FP16. Sem calibração, basta uma flag.
Projete, conduza e analise os resultados de pesquisas e experimentos baseados em IA. Simule pesquisas em ciências sociais e estudos de mercado com grandes quantidades de agentes de IA e modelos de linguagem de grande escala.