DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF:面向编码创作与深度推理的多模态模型
基于 Qwen3.8-27B 的多阶段微调模型,支持三档推理,面向编程、解题、创意写作、角色扮演和图文任务。模型卡强调缩短思考 token,并提供 Regular、MTP 两类 GGUF,适合本地开发与创作用户。支持主流 GGUF 工具本地运行;27B 参数对内存、显存要求较高,视觉输入另需 mmproj。
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,模型卡将 Qwen3.8-27B 定位为多阶段微调、合并并经 Heretic/ARA 处理的低拒答模型,支持三档推理、编码、工具调用、创意写作、角色扮演与视觉输入;“减少思考 token、保持细节”等属于模型卡声明,来源未提供独立复测。该仓库是面向本地运行的 GGUF 量化集合,提供 IQ2_M 至 Q5_K_S,以及 Regular 与 MTP 两类文件,文件体积约 11.7GB 至 20.2GB。运行层可选 llama.cpp、Ollama 和 LM Studio;MTP 采用多 token 预测,温度需不高于 1。视觉任务需另下载 mmproj。
更适合谁
- 有较多内存或显存、希望本地运行 27B 模型的开发者
- 需要编程、解题、工具调用和多档推理能力的用户
- 用于创意写作、故事生成和多语言角色扮演的用户
- 希望本地处理图文内容并能另行配置 mmproj 的用户
典型使用场景
- 本地代码生成、代码分析与编程问答
- 创意写作、小说续写和角色扮演
- 多语言对话、翻译及通用问题求解
- 结合单独 mmproj 文件进行图文理解和视觉问答
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
三档推理模式
支持 xhigh、medium、low 推理模式,模型卡称可减少思考 token 并保留输出细节
编程与工具调用
面向代码生成和问题求解,模型卡建议工具调用至少使用 Q4_K_M
创意与角色扮演
覆盖创意写作、故事、虚构内容、角色扮演及多种题材
多模态与多语言
任务标记为 image-text-to-text,并覆盖中文、英文、日文、韩文等多种语言
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 12 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 设备资源紧张时先选 IQ2_M,文件最小,但应先验证实际任务质量
- 兼顾文件体积和工具调用时优先 Q4_K_M;模型卡称工具调用至少建议 Q4_K_M,Q5_K_S 更好
- 模型卡还推荐 Q6,但所列 GGUF 文件中没有 Q6 版本
- MTP 版本适合测试多 token 预测;温度保持不高于 1、重复惩罚保持 1,若 token 接受率低于 50%应改用 Regular
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_M | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| IQ2_M | 11 GB | 12.5 GB | 14.5 GB | 17 GB | 下载文件 ↗ |
| IQ3_M | 13 GB | 14.5 GB | 16.5 GB | 20 GB | 下载文件 ↗ |
| IQ3_M | 14 GB | 15 GB | 17.5 GB | 20.5 GB | 下载文件 ↗ |
| IQ4_XS | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
| IQ4_XS | 15 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| IQ4_XS | 16 GB | 17.5 GB | 20 GB | 24 GB | 下载文件 ↗ |
| Q4_K_S | 16 GB | 17.5 GB | 20 GB | 24 GB | 下载文件 ↗ |
| Q4_K_S | 16 GB | 18 GB | 20.5 GB | 24.5 GB | 下载文件 ↗ |
| Q4_K_M | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
| Q4_K_M | 17 GB | 19 GB | 22 GB | 26 GB | 下载文件 ↗ |
| Q5_K_S | 19 GB | 20.5 GB | 23.5 GB | 28.5 GB | 下载文件 ↗ |
| Q5_K_S | 19 GB | 21 GB | 24 GB | 29 GB | 下载文件 ↗ |
| Q5_K_M | 19 GB | 21 GB | 24 GB | 29 GB | 下载文件 ↗ |
| Q5_K_M | 20 GB | 21.5 GB | 24.5 GB | 30 GB | 下载文件 ↗ |
| Q6_K | 21 GB | 23 GB | 26.5 GB | 31.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 12GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 14GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp、Ollama 或 LM Studio 加载 GGUF 文件
- 根据任务比较 Regular 与 MTP 量化,模型卡称两者功能相同
- 通过聊天模板切换 xhigh、medium、low 推理模式
- 视觉输入需另取一个 mmproj 文件,并与 GGUF 放在同一目录
采用前要知道的限制
- 27B 参数对内存和显存要求较高,低端设备应优先选择 IQ2_M 或 IQ3_M
- 模型卡提示低于 Q4_K_M 时工具调用可能出现问题,较低量化也不宜默认视作高可靠工具模型
- MTP 表现受温度和 token 接受率影响,复杂创作或高温设置更适合测试 Regular
- 模型卡未说明各量化在中文、视觉和工具调用上的独立横向复测;低拒答设定可能生成敏感或成人内容