← 返回模型库

JonathanColetti/Qwen3.8-27B-Uncensored-GGUF

Qwen3.8-27B-Uncensored-GGUF:少拒答中文对话与图文生成

这是基于 Qwen3.8-27B 的本地文本生成模型,支持中英文、262144 上下文并保留视觉能力;仓库通过移除拒答方向降低拒答率,但并非完全取消拒答。它提供多种 GGUF 量化与 MTP 文件,适合希望减少拒答、进行本地对话或图文任务的 27B 参数用户。最低档约需 12GB 以上内存与 10.

中文对话少拒答模型27B 参数GGUF 本地部署
查看模型源页面 ↗
近30天源站下载量
244.5万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

模型能力方面,这是基于 Qwen/Qwen3.8-27B 的文本生成衍生模型,支持中英文,架构为 Qwen3_5ForConditionalGeneration,提供 262144 上下文,并包含视觉塔和独立投影文件。调整重点是降低拒答率,没有加入额外训练数据;具体推理、代码和多语言质量,模型卡未说明。量化仓库方面,本仓库提供 IQ2_M 至 Q8_0 的 GGUF、融合或移除 MTP 的版本、MTP 草稿头及重要性矩阵。运行工具方面,可用 llama.cpp、Ollama、LM Studio;图像输入需配合视觉运行时和 mmproj 文件。

更适合谁

  • 需要本地运行中英文对话与文本生成的 27B 参数用户
  • 希望模型更愿意尝试回答,而非频繁直接拒答的用户
  • 能按量化档位准备足够内存与显存,并愿意配置 llama.cpp 的用户
  • 需要通过兼容运行时进行图像输入的本地用户

典型使用场景

  • 本地中文或英文聊天、写作与一般问答
  • 希望减少边界性请求拒答的创意和技术讨论
  • 使用兼容视觉运行时进行图文理解
  • 使用 llama.cpp 测试 MTP 推测解码和不同 GGUF 量化

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

降低拒答率

通过移除拒答方向显著减少部分请求的拒答,但不是完全取消拒答

中英文文本生成

基于 Qwen3.8-27B,支持中文和英文文本生成任务

图文输入基础

模型包含视觉塔,另提供 F16 mmproj 投影文件供兼容运行时加载

MTP 与量化齐全

提供保留或移除 MTP 的多档 GGUF,并附草稿头和重要性矩阵

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 10.5 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • IQ2_M 是最低体积档,融合版约 10.6GB、无 MTP 版约 10.2GB;模型卡明确称其退化最明显,不宜用它评估拒答边界
  • IQ4_XS 约 15.1–15.3GB,Q4_K_M 约 16.5–16.8GB,可作为中间体积选择
  • Q5_K_M 约 19.2–19.5GB,Q6_K 约 22.1–22.4GB,Q8_0 约 28.6–29.0GB;模型卡建议在 Q6_K 或 Q8_0 上评估边界行为
  • IQ4_XS、Q5_K_M、Q6_K、Q8_0 与 F16 的困惑度差均不超过 0.026,但测量误差约 0.25,不能据此认定彼此质量排序

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ2_M9.5 GB10.5 GB12 GB14.5 GB下载文件 ↗
IQ2_M9.9 GB11 GB12.5 GB15 GB下载文件 ↗
IQ4_XS14 GB15.5 GB18 GB21.5 GB下载文件 ↗
IQ4_XS14 GB15.5 GB18 GB21.5 GB下载文件 ↗
Q4_K_M15 GB17 GB19.5 GB23.5 GB下载文件 ↗
Q4_K_M16 GB17 GB19.5 GB23.5 GB下载文件 ↗
Q5_K_M18 GB19.5 GB22.5 GB27 GB下载文件 ↗
Q5_K_M18 GB20 GB23 GB27.5 GB下载文件 ↗
Q6_K21 GB22.5 GB26 GB31 GB下载文件 ↗
Q6_K21 GB23 GB26.5 GB31.5 GB下载文件 ↗
Q8_027 GB29 GB33 GB40 GB下载文件 ↗
Q8_027 GB29.5 GB34 GB41 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 10.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 12GB。

阅读 12GB 显存选型指南 →

可以怎样运行

  • 在 llama.cpp 中直接加载保留 MTP 的融合版,将草稿功能内嵌于单文件
  • 使用 noMTP 主模型搭配独立 draft 文件,通过显式草稿模型参数运行;Q8_0 草稿约 3.2GB,Q4_0 草稿约 1.7GB
  • 可通过 Ollama 或 LM Studio 使用,资料仅确认兼容性,未提供这些工具的具体配置说明
  • ComfyUI 图像使用需加入对应 QwenVL 节点并加载 mmproj 投影文件

采用前要知道的限制

  • 拒答行为只是减少而非消除,拒答边界附近的表现比基础模型更不稳定
  • 四项能力测试相对基础模型平均下降 0.5 分,且没有生成、数学、代码和多语言评测
  • 量化会叠加模型改动带来的影响,IQ2_M 的退化尤其明显
  • MTP 推测解码需要包含 PR 22673 的新版 llama.cpp;旧版可能静默忽略 MTP 张量,Q4_0 草稿接受率也未测量