近30天源站下载量
123.4万
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
本模型为 Qwen3.6-35B-A3B,Qwen3.6 系列首个开源权重版本,模型卡来自原始团队而非社区微调。能力方面强调原生 MoE 架构(256 专家,每 token 激活 8+1)、Agentic Coding、Tool Calling、保留思考链的 thinking 模式,以及支持约 1M token 扩展的多模态长上下文。本仓库为 unsloth 维护的 GGUF 量化镜像,提供 IQ1 至 Q6、BF16、MXFP4_MOE 等量化文件,BF16 拆分为两卷。运行侧官方覆盖 llama.cpp、Ollama、LM Studio、vLLM、SGLang、KTransformers。
更适合谁
- 需要本地大上下文编码与代理工作流的开发者
- 关注图像、视频理解与长文档问答的研究者
- 显存有限但希望尝试 35B 级 MoE 模型的本地用户
典型使用场景
- 仓库级代码理解与多文件编辑的智能体助手
- 长篇论文、合同或日志的摘要与问答
- 图像、文档截图与视频帧的多模态问答
- 通过 MCP 或 Qwen-Agent 搭建工具调用应用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
MoE 高效激活
总参数 35B 但每 token 仅激活 3B,长上下文推理显存占用相对可控
智能体编程能力
模型卡强调 Agentic Coding、仓库级代码任务与 SWE-bench 等基准
思维链保留
新增 preserve_thinking 选项,可在多轮对话中保留推理上下文
原生长上下文
默认 262144 tokens,可扩展至约 1010000 tokens,适合长文档处理
多模态视觉理解
自带视觉编码器,支持图像与视频输入及 MMMU、VideoMME 等基准
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 10.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 显存紧张仅做试机可选 IQ1_S 或 IQ2_XXS,体积小但质量折损明显
- 平衡体积与质量可选 Q3_K_M 或 IQ4_NL,是消费级硬件的常见折中点
- 接近全精度可选 BF16 或 F16,约 21.9GB,BF16 需自行合并两卷文件
- MoE 专用推理可关注 MXFP4_MOE 量化,面向特定硬件加速
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ1_M | 9.4 GB | 10.5 GB | 12 GB | 14.5 GB | 下载文件 ↗ |
| IQ2_XXS | 10 GB | 11 GB | 13 GB | 15.5 GB | 下载文件 ↗ |
| IQ2_M | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| Q2_K_XL | 11 GB | 12.5 GB | 14.5 GB | 17.5 GB | 下载文件 ↗ |
| IQ3_XXS | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| IQ3_S | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| Q3_K_S | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
| Q3_K_M | 15 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q3_K_XL | 16 GB | 17 GB | 19.5 GB | 24 GB | 下载文件 ↗ |
| IQ4_XS | 17 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
| IQ4_NL | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
| IQ4_NL_XL | 18 GB | 20 GB | 23 GB | 27.5 GB | 下载文件 ↗ |
| Q4_K_S | 19 GB | 21.5 GB | 24.5 GB | 29.5 GB | 下载文件 ↗ |
| GGUF | 20 GB | 22 GB | 25.5 GB | 30.5 GB | 下载文件 ↗ |
| Q4_K_M | 21 GB | 22.5 GB | 26 GB | 31 GB | 下载文件 ↗ |
| Q4_K_XL | 21 GB | 22.5 GB | 26 GB | 31.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 10.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 12GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 通过 llama.cpp 直接加载 GGUF,并配合 mmproj-F16.gguf 启用视觉输入
- 在 Ollama 中拉取对应量化标签进行本地对话
- 使用 LM Studio 选择 GGUF 文件做图形化推理
- 高吞吐场景按模型卡推荐使用 vLLM、SGLang 或 KTransformers
采用前要知道的限制
- 模型卡未说明 IQ1 等极低比特量化的语义与代码能力损失幅度
- BF16 全精度权重被拆为两卷文件,需自行确认合并与校验方式
- 模型卡未承诺推理速度与首 token 时长,实际表现取决于框架与硬件
- 1M token 扩展为可选能力,模型卡未明确该档位下的硬件与精度要求