#edge-ai Repositorios
84 repositorios en total
Ejecuta modelos MoE más grandes que tu RAM. MoE de última generación en un teléfono, portátil o dispositivo edge. Sin pérdidas, con llama.cpp sin modificar. Un optimizador de streaming adaptativo. Cualquier hardware, sistema operativo, modelo y cuantización, a través de un servidor local compatible con OpenAI.
LibreYOLO es una biblioteca de visión por computadora de código abierto con licencia MIT
Ejecute Kimi K3 localmente en la CPU con ~55 GB de RAM de tiempo de ejecución medida. Un servidor de inferencia de Linux de un solo archivo impulsado por cPilot Runtime.
jevos: una alternativa de código abierto a Jev y Microsoft-Decision-1. Decisiones de sí o no, opciones y puntuaciones con probabilidades, en la CPU de tu portátil.
Crea agentes de IA que se ejecuten al 100 % en el dispositivo. Latencia inferior a 100 ms en la NPU de Qualcomm. Cero dependencia de la nube.
:zap: Basado en el algoritmo de detección de objetivos universal de baja potencia y ultraligero de Yolo, el parámetro es de solo 250k, y la velocidad del terminal móvil del teléfono inteligente puede alcanzar ~300fps+.
AMD Ryzen™ AI Software incluye las herramientas y bibliotecas de tiempo de ejecución para optimizar y desplegar la inferencia de IA en PC con tecnología AMD Ryzen™ AI.
DefraDB es una Base de Datos Peer-to-Peer Prioritaria para Edge. Es el sistema de almacenamiento de datos central del Ecosistema Source.
Prototipo de LLM local para Android 17 con Jetpack Compose y ONNX Runtime para experimentos de inferencia de IA sin conexión.
sanoTTS (सानो significa «pequeño» en nepalí): un sistema neuronal de texto a voz con entre 294 mil y 2,27 millones de parámetros, que funciona en un chip de 3 dólares, en el navegador o en Python, con transmisión de baja latencia.
Vui Nano — un pequeño modelo de texto a voz consciente del contexto, entrenado con conversaciones reales. 219 millones de parámetros activos (305 millones en total), Apache 2.0, clonación de voz y transmisión en tiempo real; funciona en CPU (compilación en C sin dependencias). Incluye un asistente de voz completo en tiempo real: WebRTC, ASR, LLM local y compatibilidad con la API Realtime de OpenAI.
Kit de Herramientas de Detección de Palabras Clave de Extremo a Extremo Listo para Producción
El Zoo de Modelos de Hailo incluye modelos pre-entrenados y un entorno completo de construcción y evaluación
EfficientSAM3 comprime SAM3 en modelos ligeros y compatibles con el borde mediante destilación de conocimiento progresiva para segmentación y seguimiento de conceptos promptables rápidos.
Una demostración simple de yolov5s funcionando en rk3588/3588s usando c++ (aproximadamente 142 fotogramas/s). / Una demostración simple de yolov5s funcionando en rk3588/3588s usando c++ (aproximadamente 142 fotogramas/s).
IA en el dispositivo para Flutter: Gemma y otros LLM, capacidades multimodales, llamadas a funciones, embeddings, RAG y voz en Android, iOS, Web, macOS, Windows y Linux.
AI-in-a-Box aprovecha la experiencia de Microsoft en todo el mundo para desarrollar y proporcionar soluciones de IA y ML a la comunidad técnica. Nuestra intención es presentar una colección seleccionada de aceleradores de soluciones que puedan ayudar a los ingenieros a establecer sus entornos y soluciones de IA/ML de forma rápida y con una fricción mínima.
Una lista curada de increíbles recursos de edge computing, incluyendo frameworks, simuladores, herramientas, etc.
Plataforma de inteligencia documental basada en IA y centrada en el almacenamiento local para el periodismo de investigación
Entrenamiento en el dispositivo con menos de 256 KB de memoria [NeurIPS'22]