DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF
Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF:面向本地部署的多模态推理与创作
基于 Qwen3.5 的 9B 多阶段微调与合并模型,覆盖中英文等语言,面向通用问答、推理、代码、写作、角色扮演及图像理解,适合希望本地运行、低拒答的用户。仓库提供 Regular 与 MTP 两类 GGUF;IQ2_M 最低约需 6GB 内存、5GB 显存,Q4_K_M 建议约 10GB 内存、8.5GB 显存。
MODEL POSITIONING
这个模型解决什么问题?
该仓库是 Qwen3.5-9B 的后训练模型:模型卡称其由多个 9B 微调版继续融合,面向思考推理、指令遵循、编程、创作与角色扮演,并加入低拒答取向;上下文标称 256k。仓库本体提供 Regular 与 MTP 两类 NEO IMATRIX GGUF 量化文件,MTP 使用多 token 预测,模型卡称两者任务输出相同,主要差别在运行表现。实际加载可使用 Ollama、llama.cpp 或 LM Studio;图像功能还需单独的 mmproj。模型卡未说明各量化在任一具体设备上的稳定速度与独立质量对照。
更适合谁
- 需要在个人电脑本地运行 9B 参数多模态模型的用户
- 偏好低拒答、创意写作与角色扮演体验的用户
- 需要比较 Regular 与 MTP 量化运行效果的用户
典型使用场景
- 本地问答、资料分析与复杂任务推理
- 代码编写、调试及一般开发辅助
- 创意写作、故事生成与角色扮演
- 使用单独 mmproj 文件进行图像理解
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
通用推理与指令遵循
模型卡将思考、推理、编程和指令遵循列为主要能力方向
创作与角色扮演
支持创意写作、小说、角色扮演及聊天场景
多语言交流
标签与模型卡列出中文、英文、阿拉伯文、日文、韩文等语言
图像输入支持
视觉能力已启用,但需要额外下载并配置 mmproj 文件
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 优先试用 Q4_K_S,适合希望在文件体积与可用性之间取得平衡的场景
- 内存或显存较紧张时可选 IQ3_M;文件约 5.62GB,最低约 7GB 内存、6GB 显存
- 极低配置可考虑 IQ2_M,但模型卡未提供该量化相对其他版本的完整质量对照
- MTP 版本保持温度不高于 1、repetition penalty 为 1;若 token acceptance 低于 50%,模型卡建议改用 Regular
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_M | 4.6 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| IQ2_M | 4.6 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| IQ3_M | 5.2 GB | 6 GB | 7 GB | 8 GB | 下载文件 ↗ |
| IQ3_M | 5.3 GB | 6 GB | 7 GB | 8 GB | 下载文件 ↗ |
| IQ4_XS | 6.0 GB | 6.5 GB | 7.5 GB | 9 GB | 下载文件 ↗ |
| IQ4_XS | 6.1 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| Q4_K_S | 6.1 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| IQ4_NL | 6.2 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| Q4_K_S | 6.2 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| IQ4_NL | 6.3 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| Q4_K_M | 6.4 GB | 7 GB | 8 GB | 10 GB | 下载文件 ↗ |
| Q4_K_M | 6.5 GB | 7.5 GB | 8.5 GB | 10 GB | 下载文件 ↗ |
| Q5_K_S | 7.0 GB | 8 GB | 9.5 GB | 10.5 GB | 下载文件 ↗ |
| Q5_K_M | 7.1 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
| Q5_K_S | 7.1 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
| Q5_K_M | 7.3 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 6GB。
阅读 8GB 显存选型指南 →可以怎样运行
- 可通过 Ollama、llama.cpp 和 LM Studio 加载仓库中的 GGUF 文件
- 普通对话可使用 Thinking 或 Instruct 模式,模型卡针对不同任务提供了采样参数建议
- 图像输入需把单独的 mmproj 文件与 GGUF 放在同一目录,并在支持视觉的运行环境中加载
采用前要知道的限制
- 模型卡中的基准与对比结果由作者提供,不能视为独立验证或所有任务上的质量保证
- 模型以低拒答和成人内容取向为目标,生成内容可能包含不适宜或冒犯性内容
- 视频部分未测试,当前资料不能证明其视频理解能力
- 模型卡未给出所有量化在各设备上的完整速度与质量对照,实际表现需要本地比较