#llama-cpp リポジトリ
リポジトリ合計69件
Qwen と Nemotron に最適化された、Apple Silicon 向けの超高速推論エンジン。OpenAI と Anthropic の API に対応。nace.ai のチームが開発。
Orion-14Bは、14Bの基盤LLMと、チャットモデル、長文コンテキストモデル、量子化モデル、RAGファインチューニングモデル、エージェントファインチューニングモデルからなる一連のモデルを含むモデルファミリーです。Orion-14Bモデルファミリーは、140億パラメータの多言語基盤LLMと、対話モデル、長文コンテキストモデル、量子化モデル、RAGファインチューニングモデル、エージェントファインチューニングモデルなど、関連する派生モデルのシリーズを含みます。
ビジョン言語モデル用ComfyUIノード:Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。さらに、オープンボキャブラリー検出、SAM2/SAM3セグメンテーション、動画の時間的推論、llama.cpp経由のGGUF、およびホスト型LLM/VLM APIに対応。
iOS、Android、Web向けのオープンソース・マルチモデルAIチャットクライアント。独自のAPIキーを使用(BYOK)できます。OpenAI、Anthropic、Google Gemini、OpenRouter、DeepSeekをはじめ、さらに10社以上のプロバイダーに対応するLLMクライアントです。OpenAI、Anthropic、Gemini互換のエンドポイント(Ollama、LM Studio、llama.cpp、vLLMなど)も利用できます。ローカル優先で、自分でホスト可能。アカウント不要。AGPL-3.0。
sparkrun — NVIDIA DGX Spark システム上で LLM 推論ワークロードを起動、管理、停止します。ライブサポート:https://discord.com/invite/GH5kRgv6ZD
自分のコンピューターで、もっと簡単にAIを使う方法。ClaudeやChatGPTに代わる無料のオープンソースソフトウェアで、Gemmaやgpt-ossなどのオープンウェイトモデルをMac、Windows、Linux上でローカル実行できます。プライバシーを守り、オフラインでも使えます。
GraphRAG-rs は、GraphRAG(グラフベースの検索拡張生成)の高性能で最先端の Rust 実装であり、ドキュメントから知識グラフを構築し、設定可能なエンティティ抽出とローカル LLM 統合により自然言語クエリを可能にします
ローカルファーストのフルスタックAI創作ワークステーション。AIチャット、AI漫画、漫画ドラマ制作、ライティングデスク、知識学習の5つのモジュールを搭載。vLLM / llama.cpp / Transformersによる複数エンジン対応のローカル推論、VRAMのインテリジェントな割り当て、バルクヘッド隔離と自動復旧に対応。学習目的のみでご利用ください。ご意見・ご指摘を歓迎します。(プラグインシステムを除く最新の進捗は、プロトコル上の制約により、現在リポジトリにコミットできません。)
CandleとRustを基盤とする、LLM、VLM、VLA、TTS、OCR向けの純粋なRust製推論エンジン。llama.cppに代わる、よりシンプルで洗練された選択肢です。
アラビア語優先の生成型音声認識 — Audar-ASR-V1 (Flash + Turbo)。Open Universal Arabic ASR リーダーボードで第1位。モデルカード、ベンチマーク、推論。