#on-device-ai Dépôts
69 dépôts au total
⚡ Serveur d'inférence LLM MLX Swift natif pour Apple Silicon. API compatible OpenAI, streaming SSD pour modèles MoE 100B+, compression TurboQuant KV cache, app MACOS + iOS iPhone.
💬 Une proposition d'API web pour le prompt des modèles linguistiques fournis par le navigateur
Un LLM exécuté sur l’appareil comprend toute votre vie, puis vous propose de manière proactive d’accomplir votre travail en utilisant l’ordinateur.
Exécutez un modèle d’IA de 105 Go sur un Mac qui ne peut pas le stocker. Qwen3.8-Flash-Next en 4 bits, chargé en continu depuis un SSD sur les Mac Apple Silicon dotés de 16 à 64 Go de mémoire. Entièrement natif en Swift, MLX et Metal. Hors ligne, sans Python. CLI, bibliothèque Swift et API Ollama/OpenAI/Anthropic. Compatible avec Claude Code et Codex.
IA embarquée pour Flutter — Gemma et autres LLM, capacités multimodales, appels de fonctions, embeddings, RAG et voix sur Android, iOS, Web, macOS, Windows et Linux.
Swiftlet est un environnement d'exécution Swift et Metal qui exécute de grands modèles Qwen Mixture-of-Experts localement sur les appareils Apple en diffusant les poids des experts depuis le stockage, permettant ainsi aux modèles 35B et 80B de fonctionner avec peu de RAM, y compris sur iPhone.
Transformez votre téléphone Android en un serveur d’inférence LLM compatible avec OpenAI — entièrement local, privé et open source
PennyWise lit automatiquement les SMS de transactions et les transforme en données financières organisées grâce à une assistance IA sur l'appareil. Aucune saisie manuelle, aucun traitement dans le cloud, confidentialité totale.
Utilisation locale de l’ordinateur sur Apple silicon : décisions typées sur l’appareil avec laya et remplissage de formulaires avec CUA-S1-FORMS, via l’API d’accessibilité de macOS
Exécutez des LLM locaux tels que Gemma, Qwen et LLaMA sur Android pour discuter et répondre à des questions en temps réel, hors ligne et en toute confidentialité, avec LiteRT et ONNX Runtime.