← 返回模型库

peculiar-ragdoll/Nail-Qwen3.6-35B-A3B-GGUF-MTP

Nail-Qwen3.6-35B-A3B-GGUF-MTP:MTP加速的35B多模态推理模型

基于 Qwen3.6-35B-A3B 的 GGUF 量化版,保留 MTP 推测解码头并内置改良 chat template 与系统提示,支持中英双语、原生 262K 长上下文与视觉输入,主打 agentic 编程、多轮对话与复杂推理。最低 IQ3_S 需约 15.5GB 显存,BF16 双分片需 96GB+ 内存。

多模态MoE长上下文Agentic编程推测解码
查看模型源页面 ↗
近30天源站下载量
7715
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

模型能力来源于 Qwen3.6-35B-A3B 基础模型:35B 总参数、约 3.4B 激活的 MoE 架构,原生 262K 上下文,支持中英双语与视觉输入,主打 agentic 软件工程、多轮对话与高效推理;模型卡未说明具体训练数据与详细基准。本仓库是 Unsloth 团队的 UD 动态量化 GGUF 分发,由作者 peculiar-ragdoll 加上 froggeric 改良的 chat template 和嵌入式系统提示;MTP 版本额外保留推测解码张量。运行工具支持 llama.cpp、Ollama、LM Studio 与 macOS 上的 MLX。

更适合谁

  • 配备 24GB+ 显卡或 32GB+ 统一内存的本地 AI 用户
  • 需要本地编程助手与 agentic 工作流的开发者
  • 想跑 262K 长上下文多轮对话的重度用户
  • 想尝试 MTP 推测解码提速的中高级玩家

典型使用场景

  • 本地 agentic 编程与代码生成
  • 长程多轮对话与文档问答
  • 视觉理解与图文问答(配合 mmproj)
  • 高吞吐的代码补全与推理任务

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

MTP 推测解码

保留 nextn 张量,README 称在 llama.cpp 源码版下代码生成约 1.25–1.35× 提速

35B MoE 体量

总参数 35B、激活约 3.4B,能力与显存/内存占用相对平衡

262K 原生长上下文

32GB Mac 上可跑到 92 轮 262k token,多轮马拉松强

改良 chat template

含 froggeric 改良版与压缩型嵌入式系统提示,工具调用与多轮更稳

多模态输入

通过 mmproj-F16.gguf 提供视觉问答能力

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 14.5 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 16GB 显卡勉强上 IQ3_S,长上下文空间受限
  • 24GB 显卡优先 IQ4_XS,长上下文与 KV cache 余量更好
  • 想用 Q4 档位最高保真选 Q4_K_S,但 24GB 余量偏紧
  • 32GB+ 显存或统一内存可上 Q5_K_XL 或 Q6_K_XL;BF16 仅在 96GB+ 机器考虑

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ3_XXS13 GB14.5 GB16.5 GB20 GB下载文件 ↗
IQ3_S14 GB15.5 GB18 GB21.5 GB下载文件 ↗
IQ4_XS17 GB18.5 GB21.5 GB25.5 GB下载文件 ↗
Q4_K_S20 GB22 GB25 GB30 GB下载文件 ↗
Q4_K_XL21 GB23 GB26.5 GB32 GB下载文件 ↗
Q5_K_XL25 GB27.5 GB31.5 GB38 GB下载文件 ↗
Q6_K_XL30 GB33 GB38 GB46 GB下载文件 ↗
Q8_K_XL36 GB39.5 GB45 GB55 GB下载文件 ↗
BF16需全部分卷66 GB71.5 GB81.5 GB99.5 GB查看文件组 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 14.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 16.5GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • llama.cpp 源码版 b10362+ 启用 MTP 推测解码:使用 --spec-type draft-mtp
  • Ollama 或 LM Studio 直接加载 GGUF(不带 MTP 加速)
  • macOS MLX / oMLX 同一权重不同格式
  • 视觉能力需额外加载 mmproj-F16.gguf,使用 llama-mtmd-cli

采用前要知道的限制

  • README 全部基准来自 MLX 构建,非本 GGUF 实测
  • 系统提示硬编码在 chat template,无法通过 API 关闭
  • 当前 llama.cpp 正式版尚未支持 MTP 加速,需源码编译
  • 量化由 Unsloth 完成,本仓库只改了 metadata,质量由 UD 方案决定