#on-device-ai Repositorios
69 repositorios en total
⚡ Servidor de inferencia LLM MLX Swift nativo para Apple Silicon. API compatible con OpenAI, streaming SSD para modelos MoE 100B+, compresión TurboQuant KV cache, app MACOS + iOS iPhone.
💬 Una propuesta de API web para solicitar modelos de lenguaje proporcionados por el navegador
Un LLM en el dispositivo comprende toda tu vida y luego se ofrece proactivamente a realizar tu trabajo mediante el uso del ordenador.
Ejecuta un modelo de IA de 105 GB en un Mac que no puede almacenarlo. Qwen3.8-Flash-Next de 4 bits, transmitido desde un SSD en Macs con Apple Silicon y 16–64 GB de memoria. Totalmente nativo en Swift, MLX y Metal. Sin conexión y sin Python. CLI, biblioteca Swift y API de Ollama/OpenAI/Anthropic. Compatible con Claude Code y Codex.
IA en el dispositivo para Flutter: Gemma y otros LLM, capacidades multimodales, llamadas a funciones, embeddings, RAG y voz en Android, iOS, Web, macOS, Windows y Linux.
Swiftlet es un entorno de ejecución de Swift y Metal que ejecuta grandes modelos Qwen Mixture-of-Experts localmente en dispositivos Apple mediante la transmisión de pesos de expertos desde el almacenamiento, lo que permite que los modelos de 35B y 80B se ejecuten con poca memoria RAM, incluso en el iPhone.
Convierte tu teléfono Android en un servidor de inferencia de LLM compatible con OpenAI: completamente local, privado y de código abierto
PennyWise lee automáticamente los mensajes SMS de transacciones y los transforma en datos financieros organizados con asistencia de IA en el dispositivo. Sin entrada manual, sin procesamiento en la nube, privacidad total.
Uso local del ordenador en Apple silicon: decisiones tipadas en el dispositivo con laya y cumplimentación de formularios con CUA-S1-FORMS, mediante la API de accesibilidad de macOS
Ejecuta LLM locales como Gemma, Qwen y LLaMA en Android para disfrutar de chat y respuestas a preguntas en tiempo real, de forma privada y sin conexión, con LiteRT y ONNX Runtime.