← 返回模型库

DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF:面向本地部署的多模态推理与创作

基于 Qwen3.5 的 9B 多阶段微调与合并模型,覆盖中英文等语言,面向通用问答、推理、代码、写作、角色扮演及图像理解,适合希望本地运行、低拒答的用户。仓库提供 Regular 与 MTP 两类 GGUF;IQ2_M 最低约需 6GB 内存、5GB 显存,Q4_K_M 建议约 10GB 内存、8.5GB 显存。

本地多模态低拒答模型角色扮演GGUF量化
查看模型源页面 ↗
近30天源站下载量
211.6万
参数
9B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

该仓库是 Qwen3.5-9B 的后训练模型:模型卡称其由多个 9B 微调版继续融合,面向思考推理、指令遵循、编程、创作与角色扮演,并加入低拒答取向;上下文标称 256k。仓库本体提供 Regular 与 MTP 两类 NEO IMATRIX GGUF 量化文件,MTP 使用多 token 预测,模型卡称两者任务输出相同,主要差别在运行表现。实际加载可使用 Ollama、llama.cpp 或 LM Studio;图像功能还需单独的 mmproj。模型卡未说明各量化在任一具体设备上的稳定速度与独立质量对照。

更适合谁

  • 需要在个人电脑本地运行 9B 参数多模态模型的用户
  • 偏好低拒答、创意写作与角色扮演体验的用户
  • 需要比较 Regular 与 MTP 量化运行效果的用户

典型使用场景

  • 本地问答、资料分析与复杂任务推理
  • 代码编写、调试及一般开发辅助
  • 创意写作、故事生成与角色扮演
  • 使用单独 mmproj 文件进行图像理解

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

通用推理与指令遵循

模型卡将思考、推理、编程和指令遵循列为主要能力方向

创作与角色扮演

支持创意写作、小说、角色扮演及聊天场景

多语言交流

标签与模型卡列出中文、英文、阿拉伯文、日文、韩文等语言

图像输入支持

视觉能力已启用,但需要额外下载并配置 mmproj 文件

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 5 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 优先试用 Q4_K_S,适合希望在文件体积与可用性之间取得平衡的场景
  • 内存或显存较紧张时可选 IQ3_M;文件约 5.62GB,最低约 7GB 内存、6GB 显存
  • 极低配置可考虑 IQ2_M,但模型卡未提供该量化相对其他版本的完整质量对照
  • MTP 版本保持温度不高于 1、repetition penalty 为 1;若 token acceptance 低于 50%,模型卡建议改用 Regular

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ2_M4.6 GB5 GB6 GB8 GB下载文件 ↗
IQ2_M4.6 GB5 GB6 GB8 GB下载文件 ↗
IQ3_M5.2 GB6 GB7 GB8 GB下载文件 ↗
IQ3_M5.3 GB6 GB7 GB8 GB下载文件 ↗
IQ4_XS6.0 GB6.5 GB7.5 GB9 GB下载文件 ↗
IQ4_XS6.1 GB7 GB8 GB9.5 GB下载文件 ↗
Q4_K_S6.1 GB7 GB8 GB9.5 GB下载文件 ↗
IQ4_NL6.2 GB7 GB8 GB9.5 GB下载文件 ↗
Q4_K_S6.2 GB7 GB8 GB9.5 GB下载文件 ↗
IQ4_NL6.3 GB7 GB8 GB9.5 GB下载文件 ↗
Q4_K_M6.4 GB7 GB8 GB10 GB下载文件 ↗
Q4_K_M6.5 GB7.5 GB8.5 GB10 GB下载文件 ↗
Q5_K_S7.0 GB8 GB9.5 GB10.5 GB下载文件 ↗
Q5_K_M7.1 GB8 GB9.5 GB11 GB下载文件 ↗
Q5_K_S7.1 GB8 GB9.5 GB11 GB下载文件 ↗
Q5_K_M7.3 GB8 GB9.5 GB11 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 6GB。

阅读 8GB 显存选型指南 →

可以怎样运行

  • 可通过 Ollama、llama.cpp 和 LM Studio 加载仓库中的 GGUF 文件
  • 普通对话可使用 Thinking 或 Instruct 模式,模型卡针对不同任务提供了采样参数建议
  • 图像输入需把单独的 mmproj 文件与 GGUF 放在同一目录,并在支持视觉的运行环境中加载

采用前要知道的限制

  • 模型卡中的基准与对比结果由作者提供,不能视为独立验证或所有任务上的质量保证
  • 模型以低拒答和成人内容取向为目标,生成内容可能包含不适宜或冒犯性内容
  • 视频部分未测试,当前资料不能证明其视频理解能力
  • 模型卡未给出所有量化在各设备上的完整速度与质量对照,实际表现需要本地比较