#on-device-ai Repositórios
69 repositórios no total
⚡ Servidor de inferência LLM MLX Swift nativo para Apple Silicon. API compatível com OpenAI, streaming SSD para modelos MoE 100B+, compressão TurboQuant KV cache, app MACOS + iOS iPhone.
💬 Uma proposta para uma API web para solicitar modelos de linguagem fornecidos pelo navegador
Um LLM no dispositivo entende toda a sua vida e, em seguida, oferece proativamente realizar seu trabalho usando o computador.
Execute um modelo de IA de 105 GB em um Mac que não tem espaço para armazená-lo. Qwen3.8-Flash-Next de 4 bits, transmitido por streaming a partir de um SSD em Macs com Apple Silicon e 16–64 GB de memória. Totalmente nativo em Swift, MLX e Metal. Funciona offline, sem Python. CLI, biblioteca Swift e APIs Ollama/OpenAI/Anthropic. Compatível com Claude Code e Codex.
IA no dispositivo para Flutter — Gemma e outros LLMs, multimodalidade, chamadas de função, embeddings, RAG e voz no Android, iOS, Web, macOS, Windows e Linux.
Swiftlet é um runtime Swift e Metal que executa grandes modelos Qwen Mixture-of-Experts localmente em dispositivos Apple, transmitindo pesos de especialistas do armazenamento, permitindo que modelos de 35B e 80B sejam executados com pouca RAM, inclusive no iPhone.
Transforme seu telefone Android em um servidor de inferência de LLM compatível com OpenAI — totalmente local, privado e de código aberto
PennyWise lê automaticamente mensagens SMS de transações e as transforma em dados financeiros organizados com assistência de IA no dispositivo. Sem entrada manual, sem processamento em nuvem, privacidade completa.
Uso local do computador em Apple silicon: decisões tipadas no dispositivo com laya e preenchimento de formulários com CUA-S1-FORMS, por meio da API de acessibilidade do macOS
Execute LLMs locais, como Gemma, Qwen e LLaMA, no Android para conversar e responder a perguntas em tempo real, com privacidade e sem conexão, usando o LiteRT e o ONNX Runtime.