#inference Repositórios
144 repositórios no total
CubeStudio é uma plataforma open source nativa em nuvem tudo-em-um de aprendizado de máquina/aprendizado profundo/grandes modelos de IA/MaaS/MLOps/plataforma de inteligência artificial/plataforma de treinamento e inferência, cobrindo todo o pipeline de algoritmos, multilocação, plataforma de aluguel de poder computacional, retransmissão de tokens, orquestração de pipeline de fluxo de trabalho por arrastar e soltar, treinamento distribuído multi-máquina multi-placa, busca de hiperparâmetros, serviços de inferência, virtualização VGPU, colaboração nuvem-borda-dispositivo, computação de borda, plataforma de anotação automatizada, ajuste fino SFT/modelo de recompensa/treinamento de aprendizado por reforço para grandes modelos como DeepSeek, inferência multi-máquina para grandes modelos com vLLM/Ollama/MindIE, agentes inteligentes LLMOps com base de conhecimento privada, mercado de modelos de IA, suporte para escalonamento de poder computacional heterogêneo nacional (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), suporte para IB/RoCE/RDMA e suporte Xinchuang.
Servidor nativo de inferência de LLM para Apple Silicon. Compatível com as APIs da OpenAI e da Anthropic. Sem Python. Aplicativo macOS com backend em Zig e frontend em Swift, com suporte à geração de chat, música, voz e vídeo.
Operadores de inferência de rede neural de ponto flutuante de alta eficiência para dispositivos móveis, servidores e Web
Transforme qualquer computador ou dispositivo de borda em um centro de comando para seus projetos de visão computacional.
Gerencia o Acesso Unificado a Serviços de IA Generativa construídos sobre o Envoy Gateway
Uma camada de orquestração unificada para computação de IA heterogênea. Ela padroniza o gerenciamento de recursos computacionais e a execução de treinamento e inferência em nuvens de GPU, Kubernetes, máquinas virtuais ou clusters bare metal.
Execute um LLM de 1 bilhão de parâmetros em uma placa de 10 dólares com 256 MB de RAM.
MII possibilita inferência de baixa latência e alto rendimento, impulsionado por DeepSpeed.
Ambiente de execução de alto desempenho para servir sistemas de superinteligência interativos
Modelos abertos de decisão de 0,8B a 27B: uma probabilidade calibrada para cada opção em uma única passagem e um breve raciocínio apenas quando houver incerteza. Motor para vLLM, llama.cpp e MLX.
Roteie, gerencie e analise suas solicitações de LLM em vários provedores com uma interface de API unificada.
Servidor de inferência de CPU/GPU eficiente, escalável e de nível empresarial para modelos transformadores 🤗 Hugging Face 🚀
O mecanismo de inferência de LLM de código aberto para AWS Trainium: megakernels NKI, contexto de 1 milhão de tokens e API compatível com OpenAI. Da RunAnywhere.
Um mecanismo de inferência de alto desempenho para modelos LLM, VLM e DiT, otimizado para diversos aceleradores de IA. Ele é hospedado pela OpenAtom Foundation.
DELTA é uma plataforma de processamento de linguagem natural e fala baseada em aprendizado profundo. Projetos LF AI & DATA: https://lfaidata.foundation/projects/delta/
Exportador de GPU NVIDIA para o Prometheus usando o binário nvidia-smi OU o NVML
um runtime rápido e amigável para inferência de transformers (Bert, Albert, GPT2, Decoders, etc) em CPU e GPU.
Habilidade de agente para otimizar progressivamente a velocidade de serviço de LLMs locais (decodificação, decodificação especulativa, prefill, KV, inicialização, TTFT) em qualquer hardware e com qualquer quantização
RTP-LLM: O motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.
Implante um serviço de inferência de ML com orçamento limitado em menos de 10 linhas de código.
Inferência, Ingestão e Indexação altamente performantes, modulares, seguras em memória e prontas para produção, desenvolvidas em Rust 🦀
Qualcomm® AI Hub Models é a nossa coleção de modelos de aprendizado de máquina de última geração, otimizados para desempenho (latência, memória, etc.) e prontos para serem implementados em dispositivos Qualcomm®.
Pacote para inferência causal em grafos e em configurações pareadas. Ferramentas para recuperação da estrutura de grafos e dependências estão incluídas.
Distribua e execute cargas de trabalho de IA no Kubernetes de forma mágica em Python, como o PyTorch para infraestrutura de ML.
Construa seu próprio mecanismo de inferência LLM de alto desempenho em C++ e CUDA - uma versão menor do vLLM
Execute, disponibilize, consulte e edite modelos de IA — um ambiente de execução de modelos em Rust baseado no VINDEX3, um formato de modelo executável e inspecionável.
Um roteiro de leitura sobre engenharia de desempenho de CPU, desde uma única instrução até a inferência em produção. Apenas fontes primárias, com um benchmark executável para cada seção.
Execute o Laya, o modelo de tomada de decisões System-1 de código aberto e compatível com Jev, a partir do Node.js / TypeScript via ONNX Runtime
Execute modelos MoE maiores que a sua RAM. MoE de ponta em um celular, laptop ou dispositivo de borda. Sem perdas, com o llama.cpp padrão. Um otimizador adaptativo de streaming. Qualquer hardware, sistema operacional, modelo e quantização, por meio de um servidor local compatível com a OpenAI.
MLX Studio — a maneira mais fácil de executar LLMs no seu Mac. Um mecanismo completo em um só lugar.
Um framework de serviço de alto desempenho orientado a taxa de transferência para LLMs
Um servidor de inferência escalável para modelos otimizados com OpenVINO™
Bolt é uma biblioteca de aprendizado profundo com alto desempenho e flexibilidade heterogênea.