#qwen 仓库
共 145 个仓库
为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。
语言化采样(Verbalized Sampling),一种无需训练的提示策略,通过请求具有概率的响应来减轻LLM中的模式崩溃。在保持质量的同时,实现了2-3倍的性能多样性提升。一个模型无关的框架,提供CLI/API用于创意写作、合成数据生成和对话模拟。
一款 AI 多智能体工具,可将研究论文转化为有引文依据的商业化与技术转移评估,涵盖技术成熟度等级(TRL)、专利格局、市场和风险。基于 CrewAI + FastAPI 构建,并提供可复现的基准测试。
FlashRT 是一款高性能实时推理引擎,专为小批量、延迟敏感型 AI 工作负载而设计。其旗舰级集成包括用于 Pi0、Pi0.5、GROOT N1.6 和 Pi0-FAST 的生产级 VLA 控制。同时支持大语言模型,例如 qwen3.6-27B。
在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。
🚀🚀🚀一个关于大型语言模型(LLM)、视觉语言模型(VLM)、视觉语言动作(VLA)、人工智能生成内容(AIGC)的优秀公共项目合集,以及相关的数据库和应用。
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
自托管、API 优先的 AI 呼叫中心:AI 负责通话,代码掌控通话流程。AI 智能体接听每一通来电;人工可随时接管,无需挂断。基于 FreeSWITCH 运行,可搭配您的 SIP 中继和实时模型(OpenAI、Grok、Qwen、豆包或任何兼容的网关)。
AI Agent团队脚手架,用于Claude Code——19个角色通过阶段门协作,由强制性技能+阻塞钩子+DoD检查清单强制执行。规格驱动的变更文件夹,SIT审计的代码审查,4层钩子防御,多LLM(DeepSeek/豆包/Qwen/MiniMax)。跟踪:Web·微信小程序·Apple原生(macOS/iOS)。中文/EN README。
面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。
个人项目:MPP-Qwen14B & MPP-Qwen-Next(基于Qwen-LM的多模态流水线并行)。支持 [video/image/multi-image] {sft/conversations}。不要让贫困限制了你的想象力!在RTX3090/4090 24GB上训练你自己的8B/14B LLaVA训练风格的MLLM。
在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。
Swiftlet 是一个基于 Swift 和 Metal 的运行时,通过从存储中流式传输专家权重,在 Apple 设备上本地运行大型 Qwen 混合专家模型,从而使 35B 和 80B 模型能够在低内存环境下运行,包括在 iPhone 上。
Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, papers, docs and models, mainly for Evaluation on LLMs. 一个由工具、基准/数据、演示、排行榜和大模型等组成的精选列表,主要面向基础大模型评测,旨在探求生成式AI的技术边界。
Qoder 国际国内多账号反向代理网关,Qoder 国际国内双区域多账号 OpenAI 兼容网关中枢——支持 COSY 签名推理、稳定设备指纹以规避风控、OAuth 设备授权(无需客户端登录)、每日签到与 Pro 福利、后台定时调度器及 Web 监控看板;支持 Codex / Claude Code 和标准 OpenAI 客户端。
LLMs的高效易用微调. (支持LLama, LLama2, LLama3, Qwen, Baichuan, GLM, Falcon) 大模型高效量化训练+部署.
在 Mac (M1/M2/M3/M4) 上本地运行 Qwen3-TTS 语音合成。支持语音克隆、语音设计和自定义语音。基于 MLX 实现 100% 离线运行。
一个可二次开发 Chat Bot 单轮对话 Web 端 MVP 原型模板,基于 Vue 3, Vite 8, TypeScript, Naive UI, Pinia(v3), UnoCSS 等主流技术构建。🧤 简单集成大模型 API,采用单轮 AI 问答对话模式,每次提问独立响应,无需上下文,支持 SSE 打字机效果流式输出,集成 markdown-it, Mermaid/KaTex/LaTex 公式高亮预览。支持星火、智谱、硅基流动、Deepseek V4/V3/R1 深度思考推理模型预览,兼容 <think> 标签,包含蒸馏 skill。💼 易于定制和快速搭建 Chat 类大语言模型产品(附示例截图)。
Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。
格知 AI · Gezhi Sheets|让表格听懂你的话。支持 GLM、Kimi、豆包、DeepSeek、Qwen 的本地 AI 表格助手。
Open Model Engine (OME) —— 用于大语言模型服务部署、GPU 调度和模型生命周期管理的 Kubernetes Operator。支持 SGLang、vLLM、TensorRT-LLM 和 Triton
Gemini CLI/Qwen Code 的网页版/桌面端界面。通过一个多语言界面管理项目、切换工具、搜索过往对话,以及管理 MCP 服务器,支持本地或远程使用。
完全不受审查、增强能力的 Qwen3.6-27B 消融版。基于统一的 ghcr.io/aeon-7/aeon-vllm-ultimate:latest 容器,采用 NVFP4 + z-lab DFlash 推测解码(n=12),针对 DGX Spark 上的长上下文草稿接受率进行了调优。提供 6 个 HF 变体(BF16/NVFP4/MTP/MTP-XS)、docker-compose 和快速入门指南。
使用 LiteRT 和 ONNX Runtime 在 Android 上运行 Gemma、Qwen 和 LLaMA 等本地大语言模型,实现离线、私密的实时聊天和问答。