#llm-inference Repositórios
202 repositórios no total
Uma API leve, com poucas dependências e unificada para usar todos os modelos comuns de reranking e cross-encoder.
Um mecanismo de inferência de alto desempenho para modelos LLM, VLM e DiT, otimizado para diversos aceleradores de IA. Ele é hospedado pela OpenAtom Foundation.
Configurações de computadores de IA de código aberto, desde desktops com 2 GPUs até servidores com 8 GPUs: CAD, lista de materiais, BIOS e guias de montagem. Adquira o kit do gabinete com risers PCIe ou peça-nos uma verificação gratuita de compatibilidade.
[ICML 2023] SmoothQuant: Quantização Pós-Treinamento Precisa e Eficiente para Grandes Modelos de Linguagem
Início para "Como Escalar Seu Modelo", um breve livro didático no formato de blog sobre escalar LLMs em TPUs
Lista de softwares que permitem pesquisar na web com a assistência de IA: https://hf.co/spaces/felladrin/awesome-ai-web-search
Execute LLMs locais como llama, deepseek-distill, kokoro e outros diretamente no seu navegador
Uma coleção selecionada de ferramentas de teste de penetração de alto nível e utilitários de produtividade em múltiplos domínios. Junte-se a nós para explorar, contribuir e aprimorar seu kit de ferramentas de hacking!
📰 Artigos e blogs imperdíveis sobre Decodificação Especulativa ⚡️
Execute modelos maiores do que a capacidade da sua RAM ou VRAM transmitindo especialistas MoE a partir de um SSD. Baseado no llama.cpp.
Um roteiro de 10 semanas, com 30 minutos por dia, para servir e otimizar a inferência de LLMs. vLLM, SGLang, quantização, decodificação especulativa e benchmarking.
Construa seu próprio mecanismo de inferência LLM de alto desempenho em C++ e CUDA - uma versão menor do vLLM
Seu iPhone ajuda o Mac a executar um modelo de 27 bilhões de parâmetros: leitura mais rápida dos prompts e mais contexto por meio de um cabo USB-C
Otimiza e simplifica o design de prompts tanto para desenvolvedores quanto para usuários não técnicos, com uma abordagem de baixo código.
Flash Attention em ~100 linhas de CUDA (apenas passagem para frente)
Checkpoint-engine é um middleware simples para atualizar os pesos do modelo em mecanismos de inferência de LLMs
OpenAlpha_Evolve é um framework Python de código aberto inspirado na pesquisa inovadora sobre agentes de codificação autônomos como o AlphaEvolve da DeepMind.
‘AI-Compass’ guiará a comunidade na navegação pelo oceano da tecnologia IA. Se você é um iniciante ou um desenvolvedor avançado, encontrará aqui caminhos para todas as grandes direções da IA. O objetivo é ajudar os desenvolvedores a compreenderem sistematicamente os conceitos-chave da IA, as tecnologias predominantes, as tendências de ponta e, por meio da prática, dominar todo o processo desde a teoria até a aplicação.
jevos: uma alternativa de código aberto ao Jev e ao Microsoft-Decision-1. Decisões de sim ou não, escolhas e pontuações com probabilidades, na CPU do seu laptop.
Lista de hospedagens incríveis classificadas pelo preço do plano mínimo
Implementação pura em C++ de diversos modelos para bate-papo em tempo real no seu computador (CPU e GPU)
LeaderWorkerSet e DisaggregatedSet: APIs do Kubernetes para servir IA de forma distribuída e desagregada
Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.
Notas sobre LLM, incluindo inferência de modelo, estrutura do modelo transformer e notas de análise de código de framework LLM.
LLM.swift é uma biblioteca simples e legível que permite interagir com modelos de linguagem grandes localmente com facilidade para macOS, iOS, watchOS, tvOS e visionOS.