#on-device-ai Repositories
Entdecke 68 aktive Open-Source-GitHub-Repositories, die mit #on-device-ai getaggt sind und insgesamt 183,992 Sterne gesammelt haben (durchschnittlich 2,705 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist cactus-compute/cactus mit 14,864 Sternen.
Insgesamt 69 Repositories
Agentische, Sprach- und Bildverarbeitungsintelligenz mit weniger als 50 MB für Endgeräte.
Gerätenative Foundation-Modelle: 145B auf einem Laptop, 35B auf einem Smartphone. Latentes MoE, per SSD gestreamte Gewichte und ein Router, der die Auslastung einen Schritt im Voraus vorhersagt. Mac, iPhone, Android, Windows.
Führen Sie führende LLMs und VLMs lokal auf Qualcomm-Geräten über NPU, GPU und CPU mit nur wenigen Codezeilen aus
Dieses Repository enthält die offizielle Implementierung von "FastVLM: Efficient Vision Encoding for Vision Language Models" - CVPR 2025
LiteRT-LM ist das produktionsreife, leistungsstarke Open-Source-Inferenz-Framework von Google für die Bereitstellung großer Sprachmodelle auf Edge-Geräten.
Ein menschenzentrierter, ressourcenbewusster Android-Knoten für Edge Computing und föderiertes Lernen. Er koordiniert verteilte Intelligenz durch datenschutzorientierte Lokalisierung und einen rücksichtsvollen Umgang mit der Hardware.
KI, die du kontrollierst: Wähle deine Modelle. Besitze deine Daten. Vermeide Vendor Lock-in.
Nutzungslimit für Claude Code erreicht? Arbeite kostenlos und offline mit einem lokalen Modell weiter: Qwen 3.8, Gemma 4 und Qwen 4 ab dem Tag seiner Veröffentlichung. Läuft auf Macs mit Apple Silicon (MLX), Linux und Windows (llama.cpp) – ganz ohne API-Schlüssel. Dein Code bleibt bei dir.
Ein KI-gestütztes Dateiverwaltungstool, das die Privatsphäre durch die Organisation lokaler Texte und Bilder gewährleistet. Mithilfe der Modelle Llama3.2 3B und Llava v1.6 mit dem Nexa SDK scannt, restrukturiert und organisiert es Dateien intuitiv für einen schnellen, nahtlosen Zugriff und eine einfache Wiederbeschaffung.
Mano-P: Open-Source-GUI-VLA-Agent für Edge-Geräte. Platz 1 auf OSWorld (spezialisiert, 58,2 %). Läuft lokal auf Apple M4 Mac mini/MacBook — keine Daten verlassen Ihr Gerät. Mano-P ist ein Open-Source-GUI-VLA-Projekt, das lokale Inferenz auf Mac mini/MacBook oder über Compute-Stick unterstützt und rein visuell gesteuerte plattformübergreifende GUI-Automatisierungsoperationen ermöglicht. Daten werden vollständig lokal verarbeitet und unterstützen die Planung und Ausführung komplexer mehrstufiger Aufgaben.
Produktionsreife C++-Edge-KI-Engine für Videoanalysen und geräteinterne VLMs auf Sophon, Rockchip RKNN und x86, mit visueller Orchestrierung, Echtzeit-OSD, Ereignissen und reproduzierbaren Benchmarks.
Core ML Model Zoo für iOS/macOS — PyTorch-Modelle, konvertiert in einsatzbereite .mlpackage-Dateien, jeweils mit Konvertierungsskript und SwiftUI-Beispiel-App. Zugehörige Repositories decken Apples Core AI-Framework (iOS/macOS 27) und On-Device-LLMs ab.
Leistungsstarke On-Device-KI-Inferenzbibliothek für React Native mit Fokus auf Datenschutz, angetrieben von PyTorchs ExecuTorch-Runtime
NobodyWho ist eine Inferenz-Engine, mit der Sie LLMs lokal und effizient auf jedem Gerät ausführen können.
Muesli: agent-native lokale Meeting-Transkription und Diktierfunktion für macOS (Alternative zu Granola + WisprFlow + Littlebird)
Kostenlose Open-Source-Spracheingabe für macOS und Windows. Lokale Spracherkennung mit Whisper und Parakeet, funktioniert auch offline.
Lokale typisierte Laya-Entscheidungen auf Apple Core ML und der Neural Engine. Validierte Portierungen, kurze Entscheidungen von etwa 5 ms auf dem M3 Max sowie reproduzierbare Benchmarks für Geschwindigkeit und Energieverbrauch.
Nativ ist eine quelloffene lokale KI-App für den Mac. Sie führt offene KI-Modelle auf Apple Silicon aus, und nichts verlässt deinen Mac.
LLMs auf deinem Mac mit Apple Silicon fine-tunen. SFT, DPO, GRPO, Vision, TTS, STT, Embedding und OCR-Fine-Tuning — nativ auf MLX. Unsloth-kompatible API.
MobileLLM Optimierung von Sprachmodellen mit weniger als einer Milliarde Parametern für Anwendungsfälle auf Geräten. In ICML 2024.
[ICLR 2019] ProxylessNAS: Direkte neuronale Architektursuche für Zielaufgabe und Hardware
PhoneClaw verwandelt Telefone in lokale KI-Agenten-Laufzeitumgebungen mit geräteinternen Modellen, nativen mobilen Skills, LiveLand und optionaler Mac Gateway-Inferenz.
Ein praktisches Labor zum Erstellen, Testen und Evaluieren von Apps mit dem Foundation Models Framework von Apple.
PokeClaw (PocketClaw) — erstes On-Device-KI, das dein Android-Phone steuert. Gemma 4, kein Cloud, kein API-Schlüssel. Poke ist die Kurzform für Pocket.
Offizielle PyTorch-Implementierung von "EdgeSAM: Prompt-In-the-Loop-Destillation für die On-Device-Bereitstellung von SAM"
NativeMind: Ihr vollständig privater, Open-Source, On-Device KI-Assistent
Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.
AI PC Starter-App für KI-Bilderstellung, Bildstiländerung und Chatbot auf einem PC mit einer Intel® Arc™ GPU.
Systemmonitor für Apple Silicon ohne sudo (native SwiftUI-GUI) mit ANE-/Media-Engine-/Speicherbandbreitenverfolgung
[CVPR 2025] Offizielle PyTorch-Implementierung von „EdgeTAM: On-Device Track Anything Model“
jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.
Lokaler, quelloffener KI-Assistent für Ihre Daten. Vereinheitlicht Aufgaben, Notizen, Dokumente, Fotos und Lesezeichen. Privat, selbstgehostet und über APIs erweiterbar.
Gemeinsame Speicher-Schicht in einer einzigen Datei für all Ihre Agenten, RAG mit weniger als einer Millisekunde für Text, Fotos und Videos auf Apple Silicon. Kein Server. Keine API. Eine Datei. Reines Swift.
Open-Source-SDK für lokale KI – führe KI direkt auf dem Gerät aus, ganz ohne Cloud und API-Schlüssel. Unterstützt GGUF, RAG, die Generierung von Bildern, Musik und Videos, Sprache-zu-Text, P2P-Inferenz und mehr. Plattformübergreifend: Linux, macOS, Windows, Android und iOS.
Häufig gestellte Fragen
Welches ist das beliebteste #on-device-ai-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#on-device-ai-Projekt auf GitHub ist cactus-compute/cactus mit 14,864 Sternen. Agentische, Sprach- und Bildverarbeitungsintelligenz mit weniger als 50 MB für Endgeräte.
Welche Programmiersprachen werden in #on-device-ai-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #on-device-ai-Projekten auf GitHub sind Python, Swift, C++, TypeScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #on-device-ai-Repositories berechnet?
Wir verfolgen 68 aktive Open-Source-Repositories, die mit #on-device-ai getaggt sind (500+ Sterne), mit insgesamt 183,992 Sternen und durchschnittlich 2,705 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.