← 返回模型库

unsloth/Qwen3.6-35B-A3B-MTP-GGUF

Qwen3.6-35B-A3B-MTP-GGUF:面向智能体编码的多模态MoE

这是Qwen3.6-35B-A3B的多token预测GGUF量化版,总参数35B、激活约3B,原生26.2万token上下文并可扩展至约101万。模型具备视觉编码与智能体编码能力,强调工具调用与思考上下文保留。适合本地部署智能体助手或多模态应用的进阶用户,最低IQ1_M可在约4.

智能体编码多模态长上下文
查看模型源页面 ↗
近30天源站下载量
110.5万
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

本仓库由unsloth发布,仅封装Qwen3.6-35B-A3B模型的GGUF量化权重与配置文件,并支持多token预测加速。模型卡显示该模型属于多模态因果语言模型,含视觉编码器,主打智能体编码、工具调用和思考上下文保留。仓库本身不含训练数据与训练细节,推理效率与吞吐依赖所选框架。量化档位覆盖IQ1到Q6及BF16等;本地可通过llama.cpp、Ollama或LM Studio运行,服务端可通过SGLang、vLLM、KTransformers等部署OpenAI兼容API。

更适合谁

  • 需要本地部署智能体编码助手的开发者
  • 关注长上下文与多模态理解的进阶用户
  • 希望尝试MoE+MTP推理加速方案的爱好者
  • 隐私敏感场景下的本地大模型使用者

典型使用场景

  • 仓库级代码理解与前端工作流自动化
  • 工具调用与多步骤智能体任务
  • 图像、文档与视频理解类多模态问答
  • 超长文档摘要与多轮上下文推理

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

智能体编码

模型卡强调前端工作流与仓库级推理能力提升

长上下文支持

原生26.2万token,可扩展至约101万

多token预测

MTP加速,模型卡声称约1.5至2倍推理提升

多模态能力

含视觉编码器,支持图文与视频理解

MoE高效推理

35B总参数仅激活约3B

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 11.5 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 显存紧张可选IQ2_M或Q2_K_XL
  • 平衡质量与体积推荐Q4_K_M或IQ4_NL
  • 接近原精度可选Q5_K_M或BF16
  • 模型卡建议至少保持128K上下文以保留思考能力

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_M11 GB11.5 GB13.5 GB16 GB下载文件 ↗
IQ2_XXS11 GB12 GB14 GB17 GB下载文件 ↗
IQ2_M11 GB12 GB14 GB17 GB下载文件 ↗
Q2_K_XL12 GB13 GB15 GB18 GB下载文件 ↗
IQ3_XXS13 GB14.5 GB16.5 GB20 GB下载文件 ↗
IQ3_S14 GB15.5 GB18 GB21.5 GB下载文件 ↗
Q3_K_M16 GB17.5 GB20 GB24 GB下载文件 ↗
Q3_K_XL16 GB17.5 GB20 GB24.5 GB下载文件 ↗
IQ4_XS17 GB18.5 GB21.5 GB25.5 GB下载文件 ↗
IQ4_NL17 GB19 GB22 GB26 GB下载文件 ↗
Q4_K_S20 GB22 GB25 GB30 GB下载文件 ↗
GGUF21 GB22.5 GB26 GB31 GB下载文件 ↗
Q4_K_M21 GB23 GB26.5 GB32 GB下载文件 ↗
Q4_K_XL21 GB23 GB26.5 GB32 GB下载文件 ↗
Q5_K_S24 GB26 GB30 GB36 GB下载文件 ↗
Q5_K_M25 GB27.5 GB31.5 GB38 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 11.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 13.5GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • 通过llama.cpp本地运行,CPU需设GGML_CUDA=OFF
  • 通过Ollama或LM Studio一键加载
  • 通过SGLang或vLLM部署OpenAI兼容API
  • 通过Unsloth Studio自动配置MTP参数

采用前要知道的限制

  • 模型卡未提供完整训练数据说明
  • MTP模式尚不支持多并行与mmproj
  • 不支持Qwen3风格的/think与/nothink软切换
  • 超长上下文对显存需求显著