#edge-ai Repositórios
84 repositórios no total
Execute modelos MoE maiores que a sua RAM. MoE de ponta em um celular, laptop ou dispositivo de borda. Sem perdas, com o llama.cpp padrão. Um otimizador adaptativo de streaming. Qualquer hardware, sistema operacional, modelo e quantização, por meio de um servidor local compatível com a OpenAI.
LibreYOLO é uma biblioteca de visão computacional de código aberto licenciada sob MIT
Execute o Kimi K3 localmente na CPU com cerca de 55 GB de RAM de tempo de execução medida. Um servidor de inferência Linux de arquivo único alimentado pelo cPilot Runtime.
jevos: uma alternativa de código aberto ao Jev e ao Microsoft-Decision-1. Decisões de sim ou não, escolhas e pontuações com probabilidades, na CPU do seu laptop.
Crie agentes de IA que funcionem 100% no dispositivo. Latência inferior a 100 ms na NPU da Qualcomm. Dependência zero da nuvem.
:zap: Com base no algoritmo universal de detecção de alvos de baixa potência e ultra-leve do Yolo, o parâmetro é de apenas 250k, e a velocidade do terminal móvel de smartphone pode chegar a ~300fps+
O Software AMD Ryzen™ AI inclui as ferramentas e bibliotecas de tempo de execução para otimizar e implantar a inferência de IA em PCs com tecnologia AMD Ryzen™ AI.
DefraDB é um Banco de Dados Peer-to-Peer Prioritário para Edge. É o sistema de armazenamento de dados central do Ecossistema Source.
Protótipo de LLM local para Android 17 com Jetpack Compose e ONNX Runtime para experimentos de inferência de IA offline.
sanoTTS (सानो significa «pequeno» em nepalês): um sistema neural de conversão de texto em fala com entre 294 mil e 2,27 milhões de parâmetros, que funciona em um chip de US$ 3, no navegador ou em Python, com streaming de baixa latência.
Vui Nano — um modelo pequeno de conversão de texto em fala, sensível ao contexto e treinado em conversas reais. 219 milhões de parâmetros ativos (305 milhões no total), Apache 2.0, clonagem de voz e streaming; funciona em CPU (build em C sem dependências). Inclui um assistente de voz completo em tempo real: WebRTC, ASR, LLM local e compatibilidade com a API Realtime da OpenAI.
Kit de Ferramentas de Detecção de Palavras-Chave de Ponta a Ponta, com Foco na Produção e Pronto para Produção
O Hailo Model Zoo inclui modelos pré-treinados e um ambiente completo de construção e avaliação
EfficientSAM3 comprime o SAM3 em modelos leves e amigáveis para borda por meio de destilação de conhecimento progressiva para segmentação e rastreamento de conceitos promptáveis rápidos.
Uma demonstração simples do yolov5s rodando em rk3588/3588s usando C++ (cerca de 142 quadros por segundo).
IA no dispositivo para Flutter — Gemma e outros LLMs, multimodalidade, chamadas de função, embeddings, RAG e voz no Android, iOS, Web, macOS, Windows e Linux.
O AI-in-a-Box aproveita a expertise da Microsoft em todo o mundo para desenvolver e fornecer soluções de IA e ML para a comunidade técnica. Nossa intenção é apresentar uma coleção selecionada de aceleradores de soluções que podem ajudar os engenheiros a estabelecer seus ambientes e soluções de IA/ML rapidamente e com atrito mínimo.
Uma lista curada de recursos incríveis de edge computing, incluindo frameworks, simuladores, ferramentas, etc.
Plataforma de inteligência documental com IA e prioridade ao processamento local para o jornalismo investigativo