近30天源站下载量
244.5万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,这是基于 Qwen/Qwen3.8-27B 的文本生成衍生模型,支持中英文,架构为 Qwen3_5ForConditionalGeneration,提供 262144 上下文,并包含视觉塔和独立投影文件。调整重点是降低拒答率,没有加入额外训练数据;具体推理、代码和多语言质量,模型卡未说明。量化仓库方面,本仓库提供 IQ2_M 至 Q8_0 的 GGUF、融合或移除 MTP 的版本、MTP 草稿头及重要性矩阵。运行工具方面,可用 llama.cpp、Ollama、LM Studio;图像输入需配合视觉运行时和 mmproj 文件。
更适合谁
- 需要本地运行中英文对话与文本生成的 27B 参数用户
- 希望模型更愿意尝试回答,而非频繁直接拒答的用户
- 能按量化档位准备足够内存与显存,并愿意配置 llama.cpp 的用户
- 需要通过兼容运行时进行图像输入的本地用户
典型使用场景
- 本地中文或英文聊天、写作与一般问答
- 希望减少边界性请求拒答的创意和技术讨论
- 使用兼容视觉运行时进行图文理解
- 使用 llama.cpp 测试 MTP 推测解码和不同 GGUF 量化
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
降低拒答率
通过移除拒答方向显著减少部分请求的拒答,但不是完全取消拒答
中英文文本生成
基于 Qwen3.8-27B,支持中文和英文文本生成任务
图文输入基础
模型包含视觉塔,另提供 F16 mmproj 投影文件供兼容运行时加载
MTP 与量化齐全
提供保留或移除 MTP 的多档 GGUF,并附草稿头和重要性矩阵
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 10.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- IQ2_M 是最低体积档,融合版约 10.6GB、无 MTP 版约 10.2GB;模型卡明确称其退化最明显,不宜用它评估拒答边界
- IQ4_XS 约 15.1–15.3GB,Q4_K_M 约 16.5–16.8GB,可作为中间体积选择
- Q5_K_M 约 19.2–19.5GB,Q6_K 约 22.1–22.4GB,Q8_0 约 28.6–29.0GB;模型卡建议在 Q6_K 或 Q8_0 上评估边界行为
- IQ4_XS、Q5_K_M、Q6_K、Q8_0 与 F16 的困惑度差均不超过 0.026,但测量误差约 0.25,不能据此认定彼此质量排序
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_M | 9.5 GB | 10.5 GB | 12 GB | 14.5 GB | 下载文件 ↗ |
| IQ2_M | 9.9 GB | 11 GB | 12.5 GB | 15 GB | 下载文件 ↗ |
| IQ4_XS | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
| IQ4_XS | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
| Q4_K_M | 15 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q4_K_M | 16 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q5_K_M | 18 GB | 19.5 GB | 22.5 GB | 27 GB | 下载文件 ↗ |
| Q5_K_M | 18 GB | 20 GB | 23 GB | 27.5 GB | 下载文件 ↗ |
| Q6_K | 21 GB | 22.5 GB | 26 GB | 31 GB | 下载文件 ↗ |
| Q6_K | 21 GB | 23 GB | 26.5 GB | 31.5 GB | 下载文件 ↗ |
| Q8_0 | 27 GB | 29 GB | 33 GB | 40 GB | 下载文件 ↗ |
| Q8_0 | 27 GB | 29.5 GB | 34 GB | 41 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 10.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 12GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 在 llama.cpp 中直接加载保留 MTP 的融合版,将草稿功能内嵌于单文件
- 使用 noMTP 主模型搭配独立 draft 文件,通过显式草稿模型参数运行;Q8_0 草稿约 3.2GB,Q4_0 草稿约 1.7GB
- 可通过 Ollama 或 LM Studio 使用,资料仅确认兼容性,未提供这些工具的具体配置说明
- ComfyUI 图像使用需加入对应 QwenVL 节点并加载 mmproj 投影文件
采用前要知道的限制
- 拒答行为只是减少而非消除,拒答边界附近的表现比基础模型更不稳定
- 四项能力测试相对基础模型平均下降 0.5 分,且没有生成、数学、代码和多语言评测
- 量化会叠加模型改动带来的影响,IQ2_M 的退化尤其明显
- MTP 推测解码需要包含 PR 22673 的新版 llama.cpp;旧版可能静默忽略 MTP 张量,Q4_0 草稿接受率也未测量