← 返回模型库

unsloth/Qwen3.6-35B-A3B-GGUF

Qwen3.6-35B-A3B-GGUF:35B 多模态代理编程与长文档模型

Qwen3.6-35B-A3B 是千问首个开源权重的 35B 多模态 MoE 大模型,总参数 35B、激活 3B,支持文本、图像与视频输入,原生 26 万 token 上下文可扩展至百万级。模型卡强调智能体编码、工具调用与思维链保留能力。适合需要本地代理编程、长文档问答和视觉理解的开发者与研究者。可通过 llama.

多模态大模型长上下文智能体编程工具调用
查看模型源页面 ↗
近30天源站下载量
123.4万
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

本模型为 Qwen3.6-35B-A3B,Qwen3.6 系列首个开源权重版本,模型卡来自原始团队而非社区微调。能力方面强调原生 MoE 架构(256 专家,每 token 激活 8+1)、Agentic Coding、Tool Calling、保留思考链的 thinking 模式,以及支持约 1M token 扩展的多模态长上下文。本仓库为 unsloth 维护的 GGUF 量化镜像,提供 IQ1 至 Q6、BF16、MXFP4_MOE 等量化文件,BF16 拆分为两卷。运行侧官方覆盖 llama.cpp、Ollama、LM Studio、vLLM、SGLang、KTransformers。

更适合谁

  • 需要本地大上下文编码与代理工作流的开发者
  • 关注图像、视频理解与长文档问答的研究者
  • 显存有限但希望尝试 35B 级 MoE 模型的本地用户

典型使用场景

  • 仓库级代码理解与多文件编辑的智能体助手
  • 长篇论文、合同或日志的摘要与问答
  • 图像、文档截图与视频帧的多模态问答
  • 通过 MCP 或 Qwen-Agent 搭建工具调用应用

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

MoE 高效激活

总参数 35B 但每 token 仅激活 3B,长上下文推理显存占用相对可控

智能体编程能力

模型卡强调 Agentic Coding、仓库级代码任务与 SWE-bench 等基准

思维链保留

新增 preserve_thinking 选项,可在多轮对话中保留推理上下文

原生长上下文

默认 262144 tokens,可扩展至约 1010000 tokens,适合长文档处理

多模态视觉理解

自带视觉编码器,支持图像与视频输入及 MMMU、VideoMME 等基准

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 10.5 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 显存紧张仅做试机可选 IQ1_S 或 IQ2_XXS,体积小但质量折损明显
  • 平衡体积与质量可选 Q3_K_M 或 IQ4_NL,是消费级硬件的常见折中点
  • 接近全精度可选 BF16 或 F16,约 21.9GB,BF16 需自行合并两卷文件
  • MoE 专用推理可关注 MXFP4_MOE 量化,面向特定硬件加速

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_M9.4 GB10.5 GB12 GB14.5 GB下载文件 ↗
IQ2_XXS10 GB11 GB13 GB15.5 GB下载文件 ↗
IQ2_M11 GB12 GB14 GB16.5 GB下载文件 ↗
Q2_K_XL11 GB12.5 GB14.5 GB17.5 GB下载文件 ↗
IQ3_XXS12 GB13.5 GB15.5 GB18.5 GB下载文件 ↗
IQ3_S13 GB14 GB16 GB19.5 GB下载文件 ↗
Q3_K_S14 GB15.5 GB18 GB21.5 GB下载文件 ↗
Q3_K_M15 GB17 GB19.5 GB23.5 GB下载文件 ↗
Q3_K_XL16 GB17 GB19.5 GB24 GB下载文件 ↗
IQ4_XS17 GB18 GB20.5 GB25 GB下载文件 ↗
IQ4_NL17 GB18.5 GB21.5 GB25.5 GB下载文件 ↗
IQ4_NL_XL18 GB20 GB23 GB27.5 GB下载文件 ↗
Q4_K_S19 GB21.5 GB24.5 GB29.5 GB下载文件 ↗
GGUF20 GB22 GB25.5 GB30.5 GB下载文件 ↗
Q4_K_M21 GB22.5 GB26 GB31 GB下载文件 ↗
Q4_K_XL21 GB22.5 GB26 GB31.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 10.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 12GB。

阅读 12GB 显存选型指南 →

可以怎样运行

  • 通过 llama.cpp 直接加载 GGUF,并配合 mmproj-F16.gguf 启用视觉输入
  • 在 Ollama 中拉取对应量化标签进行本地对话
  • 使用 LM Studio 选择 GGUF 文件做图形化推理
  • 高吞吐场景按模型卡推荐使用 vLLM、SGLang 或 KTransformers

采用前要知道的限制

  • 模型卡未说明 IQ1 等极低比特量化的语义与代码能力损失幅度
  • BF16 全精度权重被拆为两卷文件,需自行确认合并与校验方式
  • 模型卡未承诺推理速度与首 token 时长,实际表现取决于框架与硬件
  • 1M token 扩展为可选能力,模型卡未明确该档位下的硬件与精度要求