#local-llm Dépôts
122 dépôts au total
Ajustez finement les LLMs sur votre Mac avec Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding et ajustement fin d'OCR — nativement sur MLX. API compatible avec Unsloth.
🌌 Donnez une âme à vos personnages préférés. Soul of Waifu est une application de jeu de rôle et de compagnon IA pour ordinateur, dotée d'avatars Live2D/VRM, de chat vocal et d'un LLM local. Évoluez ensemble grâce à des discussions immersives, des aventures RPG et une intégration sur votre bureau.
Solution open source d’analyse de la voix du client, axée sur la confidentialité. Une alternative auto-hébergée à Enterpret et Unwrap qui supprime les données personnelles des retours avant qu’un LLM ne les traite.
Inférence locale au comportement comparable à celui d’une API de pointe : Qwen3.8-Flash-Next sur AMD Strix Halo, ainsi que de petits modèles NPU, via les API d’OpenAI et d’Anthropic sur un seul port.
Inférence sur CPU sans GPU pour les modèles MoE de 30B à 284B (Qwen3.8 176.5B certifié avec cache froide dans Cgroup v2 à 28,26/48,35 Gio, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Une simple démo jouet d'un assistant vocal local avec whisper et un grand modèle linguistique.
Exécutez de grands modèles d’IA sur votre propre PC : Qwen3.8-Flash-Next avec le moteur de Strata, et GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder et MiniCPM-V avec un second moteur conçu pour PolyStrata. Installation en un clic sous Windows et Linux, avec une API OpenAI/Anthropic sur localhost.
Tests d’intrusion autonomes par IA open source. 50 agents spécialisés couvrant le web, les API, le cloud, Active Directory, Kubernetes, CI/CD et l’IA/les LLM (OWASP LLM Top 10), avec un graphe des chemins d’attaque vérifié par des preuves. Fonctionne avec un LLM local derrière une passerelle de confidentialité. S’intègre à GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana et Splunk.
Exécutez des modèles dont la taille dépasse la capacité de votre RAM ou VRAM en diffusant les experts MoE depuis un SSD. Basé sur llama.cpp.
Compagnons IA open source, animaux de bureau, mémoire à long terme et chat proactif. Répertoire complet de projets open source de romance humain-IA. Permettez à votre IA locale d'exister indépendamment des plateformes officielles, dotée de mémoire et de proactivité.
Liste de plates-formes, d'outils et de ressources géniales pour exécuter des LLMs localement
Votre iPhone aide votre Mac à exécuter un modèle de 27 milliards de paramètres : lecture plus rapide des invites et davantage de contexte via un câble USB-C
Fournit une assistance automatisée en ingénierie inverse grâce à l'utilisation de grands modèles linguistiques (LLM) locaux sur du matériel grand public.
PokeClaw (PocketClaw) — première IA on-device qui contrôle votre téléphone Android. Gemma 4, sans cloud, sans clé API. Poke est l'abréviation de Pocket.
Maximiser la capacité à exécuter différents LLM sur les appareils les plus petits possible
Créez des agents IA à partir des premiers principes en utilisant une LLM locale – sans framework, sans API cloud et sans raisonnement caché.
Un serveur MCP de recherche Web simple, hébergé localement, pour une utilisation avec des LLM locaux
Une bibliothèque simple et facile à utiliser pour interagir avec l'API Ollama.
Maîtrisez vos flux : une plateforme d’IA open source pour vos connaissances, vos modèles et vos canaux — web, WhatsApp, e-mail, Outlook, Nextcloud et ownCloud. Modèles locaux et cloud côte à côte, avec le coût de chaque réponse.
Capri — un agent IA de bureau inspiré d’Edgerunners. Compatible avec Claude 3.7, Claude Code, OpenAI et Ollama/LLaMA en local. Compagne waifu IA personnalisable avec chat vocal.
La suite d'IA côté client la plus avancée et entièrement hors ligne disponible aujourd'hui sur Android.
Moniteur système Apple Silicon sans sudo (interface graphique native SwiftUI) avec suivi ANE / Moteur multimédia / bande passante mémoire
Exécutez Kimi K3 localement sur CPU avec environ 55 Go de RAM d'exécution mesurée. Un serveur d'inférence Linux à fichier unique propulsé par cPilot Runtime.
Réécrit les brouillons générés par l’IA pour leur donner un ton humain — fonctionne en local et préserve les faits
Pont entre les serveurs Ollama et MCP, permettant aux LLM locaux d'utiliser les outils du Model Context Protocol
jevos : une alternative open source à Jev et Microsoft-Decision-1. Des décisions par oui ou non, des choix et des scores avec des probabilités, sur le processeur de votre ordinateur portable.
Installateur en une seule commande pour une stack d’IA auto-hébergée sur votre propre serveur : n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant et plus de 30 outils. Docker Compose, HTTPS automatique via Caddy et supervision intégrée. Alternative gratuite à Zapier/Make.
Nornicdb est une base de données distribuée à faible latence, Graph+Vector et MVCC temporel, offrant une recherche HNSW, un parcours de graphe et des écritures en moins d'une milliseconde. Grâce à l'utilisation de Neo4j Bolt/Cypher et du gRPC de qdrant, vous pouvez effectuer la transition sans aucun changement tout en ajoutant des fonctionnalités intelligentes telles que les schémas, les embeddings gérés, le reranking+LLM, l'accélération GPU, l'Auto-TLP, la dégradation de la mémoire basée sur des politiques et un serveur MCP.
Créez un pipeline RAG (Retrieval Augmented Generation) à partir de zéro et faites-le fonctionner entièrement localement.
Saisie vocale pour macOS avec des modèles locaux : transcrivez, traduisez et reformulez dans n’importe quelle app. Le successeur de Voxt.
Application de bureau open source pour le développement de jeux natif de l’IA. Créez avec Unreal Engine, Unity, Godot, Roblox ou Three.js en utilisant n’importe quelle IA, y compris des modèles locaux.
Proxy qui vous permet d'utiliser ollama comme un copilot similaire à Github Copilot
Prototype de LLM local Android 17 avec Jetpack Compose et ONNX Runtime pour des expériences d'inférence IA hors ligne.
Exécutez Kimi K3 complet sur un seul appareil. Et un serveur API compatible avec OpenAI pour les agents de chat et de codage locaux.
Wiki LLM de Karpathy, 100% local avec Ollama. Déposez des notes Markdown → IA extrait les concepts → votre wiki Obsidian se lie automatiquement et grandit. Zéro partage. Vos notes restent vôtres.
Moteur d’inférence ultra-rapide pour Apple Silicon, optimisé pour Qwen et Nemotron. Compatible avec les API d’OpenAI et d’Anthropic. Créé par l’équipe de nace.ai
Exploitez la puissance des LLM locaux avec ce client TUI MCP pour Ollama. Doté de toutes les primitives MCP de base (outils, invites, ressources), mode agent, multi-serveur, changement de modèle, réponses en streaming, humain dans la boucle, mode réflexion, configuration des paramètres du modèle, invites système et préférences enregistrées.
SDK d’IA locale open source : exécutez l’IA sur l’appareil, sans cloud ni clés API. Prend en charge GGUF, RAG, la génération d’images, de musique et de vidéos, la conversion de la parole en texte, l’inférence P2P et bien plus encore. Multiplateforme : Linux, macOS, Windows, Android et iOS.
Microsoft GraphRAG + AutoGen + Ollama + Chainlit = Superbot RAG Multi-Agent Entièrement Local et Gratuit
AlwaysReddy est un assistant vocal LLM qui est toujours à portée de raccourci clavier.
Décodage des LLM jusqu’à 4× plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 et Bonsai-27B ternaire.
Application macOS dans la barre des menus pour utiliser rapidement DeepSeek V4.1 en local, avec un contexte d’un million de tokens.
37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.