#local-llm リポジトリ
リポジトリ合計122件
Apple Silicon搭載のMacでLLMをファインチューニング。SFT、DPO、GRPO、Vision、TTS、STT、Embedding、OCRのファインチューニング — MLX上でネイティブ対応。Unsloth互換API。
🌌 お気に入りのキャラクターに魂を吹き込みましょう。Soul of Waifuは、Live2D/VRMアバター、音声チャット、ローカルLLMを搭載したデスクトップ向けロールプレイ&AIコンパニオンアプリです。没入感のあるチャットやRPGアドベンチャーを通じて、デスクトップで一緒に成長しましょう。
オープンソースでプライバシーを最優先する顧客の声(VoC)分析ツール。EnterpretやUnwrapに代わるセルフホスト型の選択肢で、LLMがフィードバックを処理する前に個人情報を削除します。
最先端APIのように動作するローカル推論:AMD Strix Halo上のQwen3.8-Flash-Nextと小型NPUモデルを、OpenAIおよびAnthropicのAPI経由で単一ポートから利用。
30B~284BのMoEモデル向け、GPU不要のCPU推論(Qwen3.8 176.5Bは28.26/48.35 GiBのCgroup v2コールドキャッシュ環境で認証済み、DeepSeek-V4 284B、Nemotron-30B)+RouteCrack 2.0。
大規模な AI モデルを自分の PC で実行できます。Strata のエンジンでは Qwen3.8-Flash-Next を、PolyStrata 向けに開発された第 2 のエンジンでは GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder、MiniCPM-V を実行できます。Windows と Linux にワンクリックでインストールでき、localhost で OpenAI/Anthropic API を利用できます。
オープンソースの自律型AIペネトレーションテスト。Web、API、クラウド、Active Directory、Kubernetes、CI/CD、AI/LLM(OWASP LLM Top 10)を対象とする50の専門エージェントを搭載し、証拠検証済みの攻撃経路グラフを提供します。プライバシーゲートウェイの背後にあるローカルLLM上で動作します。GitHub、GitLab、Jenkins、VS Code、JetBrains、n8n、Grafana、Splunkと統合できます。
オープンソースAIコンパニオン、デスクトップペット、長期記憶&自発的チャット。人間とAIの恋愛オープンソースプロジェクト大全。公式クライアントから独立してローカルで存在し、記憶と能動性を備えたAIを実現します。
PokeClaw (PocketClaw) — Androidスマホを制御する初のオンデバイスAI。Gemma 4、クラウド不要、APIキー不要。PokeはPocketの略。
フローを自在に操る。知識、モデル、チャネルを一元化するオープンソースAIプラットフォーム。Web、WhatsApp、メール、Outlook、Nextcloud、ownCloudに対応。ローカルモデルとクラウドモデルを並べて利用でき、回答ごとのコストも確認できます。
Capri —『エッジランナーズ』に着想を得たデスクトップ向けAIエージェント。Claude 3.7、Claude Code、OpenAI、ローカルのOllama/LLaMAに対応。音声チャット機能付きのカスタマイズ可能なAIワイフコンパニオン。
Kimi K3をCPU上でローカル実行します(測定実行時RAMは約55GB)。cPilot Runtimeを搭載したシングルファイルのLinux推論サーバーです。
jevos:JevおよびMicrosoft-Decision-1に代わるオープンソースの選択肢。ノートPCのCPU上で、確率付きのYes/No判定、選択、スコアリングを実行できます。
自分のサーバーにセルフホスト型 AI スタックをワンコマンドでインストール:n8n、Ollama、Open WebUI、OpenClaw、Dify、Flowise、Supabase、ComfyUI、Qdrant など30以上のツールに対応。Docker Compose、Caddy による HTTPS の自動設定、監視機能を内蔵。無料で使える Zapier/Make の代替サービス。
Nornicdbは、分散型低遅延のGraph+VectorおよびTemporal MVCCデータベースであり、すべてのHNSW検索、グラフ探索、書き込みにおいてサブミリ秒の応答を実現します。Neo4j Bolt/CypherおよびqdrantのgRPCを使用しているため、コードを変更することなく移行でき、さらにスキーマ、管理された埋め込み、リランキング+LLM、GPUアクセラレーション、Auto-TLP、ポリシーベースのメモリ減衰、MCPサーバーといったインテリジェントな機能を追加できます。
AIネイティブなゲーム開発のためのオープンソースデスクトップアプリ。ローカルモデルを含むあらゆるAIを使って、Unreal Engine、Unity、Godot、Roblox、Three.jsで開発できます。
KarpathyのLLM Wiki、Ollamaで100%ローカル。Markdownノートをドロップ → AIが概念を抽出 → Obsidian wikiが自動リンクして成長。共有ゼロ。あなたのノートはあなたのもの。
Qwen と Nemotron に最適化された、Apple Silicon 向けの超高速推論エンジン。OpenAI と Anthropic の API に対応。nace.ai のチームが開発。
ローカルLLMの力を活用する、Ollama向けTUI MCPクライアント。すべての主要なMCPプリミティブ(ツール、プロンプト、リソース)、エージェントモード、マルチサーバー、モデル切り替え、ストリーミング応答、ヒューマンインザループ、思考モード、モデルパラメータ設定、システムプロンプト、保存された設定を備えています。
オープンソースのローカルAI SDK — クラウドもAPIキーも不要で、デバイス上でAIを実行できます。GGUF、RAG、画像・音楽・動画生成、音声テキスト変換、P2P推論などに対応。クロスプラットフォーム:Linux、macOS、Windows、Android、iOS。
Microsoft GraphRAG + AutoGen + Ollama + Chainlit = 完全ローカル・無料のマルチエージェントRAGスーパーボット
Apple Silicon上でLLMデコードを最大4倍高速化、ロスレス。DeepSeekのDSparkとz-labのDFlashによる投機的デコーディングのネイティブMLX移植版 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0、三値のBonsai-27Bに対応。
32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。