#on-device-ai Repositories
Insgesamt 69 Repositories
⚡ Native MLX Swift LLM-Inferenzserver für Apple Silicon. OpenAI-kompatible API, SSD-Streaming für 100B+ MoE-Modelle, TurboQuant KV-Cache-Kompression, MACOS + iOS iPhone-App.
💬 Ein Vorschlag für eine Web-API zur Ansteuerung von sprachmodellen, die vom Browser bereitgestellt werden
Ein auf dem Gerät ausgeführtes LLM versteht Ihr gesamtes Leben und bietet anschließend proaktiv an, Ihre Arbeit durch die Nutzung des Computers zu erledigen.
Führen Sie ein 105-GB-KI-Modell auf einem Mac aus, auf dem es nicht vollständig Platz findet. Qwen3.8-Flash-Next in 4-Bit, gestreamt von einer SSD auf Apple-Silicon-Macs mit 16–64 GB Arbeitsspeicher. Vollständig nativ mit Swift, MLX und Metal. Offline, ohne Python. CLI, Swift-Bibliothek sowie Ollama-/OpenAI-/Anthropic-APIs. Funktioniert mit Claude Code und Codex.
KI auf dem Gerät für Flutter – Gemma und andere LLMs, multimodale Funktionen, Funktionsaufrufe, Embeddings, RAG und Sprache auf Android, iOS, Web, macOS, Windows und Linux.
Swiftlet ist eine Swift- und Metal-Laufzeitumgebung, die große Qwen Mixture-of-Experts-Modelle lokal auf Apple-Geräten ausführt, indem Experten-Gewichte vom Speicher gestreamt werden, wodurch 35B- und 80B-Modelle mit geringem RAM-Verbrauch ausgeführt werden können, auch auf dem iPhone.
Verwandeln Sie Ihr Android-Telefon in einen mit OpenAI kompatiblen LLM-Inferenzserver – vollständig lokal, privat und Open Source
PennyWise liest automatisch Transaktions-SMS und wandelt sie mit Hilfe von KI auf dem Gerät in organisierte Finanzdaten um. Keine manuelle Eingabe, keine Cloud-Verarbeitung, vollständige Privatsphäre.
Lokale Computernutzung auf Apple silicon: typisierte Entscheidungen direkt auf dem Gerät mit laya und Formularausfüllung mit CUA-S1-FORMS über die macOS-API für Bedienungshilfen
Führen Sie lokale LLMs wie Gemma, Qwen und LLaMA auf Android aus, um mit LiteRT und ONNX Runtime offline, privat und in Echtzeit zu chatten und Fragen zu beantworten.