#on-device-ai Repository
69 repository in totale
โก Server di inferenza LLM MLX Swift nativo per Apple Silicon. API compatibile con OpenAI, streaming SSD per modelli MoE 100B+, compressione TurboQuant KV cache, app MACOS + iOS iPhone.
๐ฌ Una proposta per un'API web per il prompting di modelli linguistici forniti dal browser
Un LLM sul dispositivo comprende tutta la tua vita e poi si offre proattivamente di svolgere il tuo lavoro utilizzando il computer.
Esegui un modello IA da 105 GB su un Mac che non puรฒ contenerlo. Qwen3.8-Flash-Next a 4 bit, trasmesso in streaming da SSD sui Mac Apple Silicon con 16โ64 GB di memoria. Completamente nativo in Swift, MLX e Metal. Offline, senza Python. CLI, libreria Swift e API Ollama/OpenAI/Anthropic. Compatibile con Claude Code e Codex.
IA on-device per Flutter: Gemma e altri LLM, multimodalitร , chiamate di funzione, embedding, RAG e voce su Android, iOS, Web, macOS, Windows e Linux.
Swiftlet รจ un runtime Swift e Metal che esegue modelli Qwen Mixture-of-Experts di grandi dimensioni localmente su dispositivi Apple tramite lo streaming dei pesi degli esperti dallo storage, consentendo ai modelli da 35B e 80B di funzionare con poca RAM, anche su iPhone.
Trasforma il tuo telefono Android in un server di inferenza LLM compatibile con OpenAI: completamente locale, privato e open source
PennyWise legge automaticamente i messaggi SMS delle transazioni e li trasforma in dati finanziari organizzati con assistenza AI sul dispositivo. Nessun inserimento manuale, nessun elaborazione cloud, privacy completa.
Uso locale del computer su Apple silicon: decisioni tipizzate sul dispositivo con laya e compilazione di moduli con CUA-S1-FORMS, tramite lโAPI di accessibilitร di macOS
Esegui LLM locali come Gemma, Qwen e LLaMA su Android per chat e risposte alle domande in tempo reale, offline e private, con LiteRT e ONNX Runtime.