近30天源站下载量
7.4万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
本仓库是 unsloth 维护的 GGUF 量化镜像,转发基础模型 Qwen/Qwen3.6-27B 的多模态权重,覆盖 IQ2 到 Q8 共十余种量化方案,并附带 mmproj-F16/F32 视觉投影。模型能力来自上游 Qwen3.6-27B 官方卡,强调代理式编码、前后端与仓库级推理、改进的嵌套对象工具调用、保留历史思考上下文以及原生 262K token 长上下文。仓库还提供 MTP 多 Token 预测权重以追求更高吞吐;运行端兼容 Unsloth Studio、llama.cpp、Ollama、LM Studio 等 GGUF 推理客户端,上游还推荐 sglang≥0.5.10、vLLM≥0.19.0、KTransformers 等服务框架。
更适合谁
- 想本地部署带视觉理解的多模态编码助手并能接受较高显存占用的开发者
- 需要长上下文推理、长文档或代码库分析的研究员与产品工程师
- 拥有 24GB 及以上显存或大内存工作站、希望跑 BF16/Q5 以上高质量档位的用户
- 想尝试 MTP 多 Token 预测以追求更高吞吐的自部署用户
典型使用场景
- 本地部署的代码助手与仓库级代码理解问答
- 长文档、论文或大型代码库的检索式问答与摘要
- 多模态图文问答与视频内容理解解析
- 配合 Qwen-Agent 或 Qwen Code 搭建工具调用与脚本自动化
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
多模态视觉理解
内置视觉编码器与 mmproj 文件,支持图文输入与视频理解
代理式编码能力
官方强调前后端工作流与仓库级代码推理,适合智能体编码
工具调用与解析
改善嵌套对象解析,提升函数调用成功率,适合 Agent 场景
超长上下文
原生 262K token 上下文,可经 RoPE/YaRN 扩展到约 100 万 token
MTP 加速
仓库提供多 Token 预测权重,官方宣称推理速度提升约 1.5–2 倍
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 10 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 显存紧张且以文字对话为主,可优先选 Q4_0 或 IQ4_NL,文件约 13.5GB
- 想要更高质量且显存充裕,推荐 Q5_K_M 或 BF16,文件约 16.9GB
- 需要视觉能力时,记得同时下载对应的 mmproj-F16 或 mmproj-F32 视觉投影文件
- 模型卡未说明各档量化在视觉理解与长上下文任务上的具体质量差异
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_XXS | 8.9 GB | 10 GB | 11.5 GB | 13.5 GB | 下载文件 ↗ |
| IQ2_M | 10 GB | 11.5 GB | 13.5 GB | 15.5 GB | 下载文件 ↗ |
| Q2_K_XL | 11 GB | 12.5 GB | 14.5 GB | 17 GB | 下载文件 ↗ |
| IQ3_XXS | 11 GB | 12.5 GB | 14.5 GB | 17.5 GB | 下载文件 ↗ |
| Q3_K_S | 12 GB | 13 GB | 15 GB | 18 GB | 下载文件 ↗ |
| Q3_K_M | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| Q3_K_XL | 14 GB | 15 GB | 17.5 GB | 21 GB | 下载文件 ↗ |
| IQ4_XS | 15 GB | 16 GB | 18.5 GB | 22 GB | 下载文件 ↗ |
| Q4_0 | 15 GB | 16.5 GB | 19 GB | 22.5 GB | 下载文件 ↗ |
| Q4_K_S | 15 GB | 16.5 GB | 19 GB | 23 GB | 下载文件 ↗ |
| IQ4_NL | 15 GB | 16.5 GB | 19 GB | 23 GB | 下载文件 ↗ |
| Q4_K_M | 16 GB | 17.5 GB | 20 GB | 24 GB | 下载文件 ↗ |
| Q4_1 | 16 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
| Q4_K_XL | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
| Q5_K_S | 18 GB | 19.5 GB | 22.5 GB | 27 GB | 下载文件 ↗ |
| Q5_K_M | 18 GB | 20 GB | 23 GB | 28 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 10GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 11.5GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 使用 Unsloth Studio 可自动设置 MTP 参数并启用对应加速
- 通过 llama.cpp 加载 GGUF,CPU/Metal 路径需关 CUDA,且 MTP 暂不支持 -np > 1 与 --mmproj
- 在 Ollama 或 LM Studio 等本地客户端直接加载 GGUF 运行
- 高吞吐部署可参考官方推荐的 sglang、vLLM、KTransformers 或 Hugging Face Transformers 服务
采用前要知道的限制
- 模型卡未提供具体的中文或多语言评测、速度与上下文表现数据
- MTP 模式在 llama.cpp 中暂不支持多并行推理与 --mmproj 参数
- 27B 参数规模对消费级显卡要求较高,BF16/Q5 以上基本需 24GB 显存
- 启用长上下文会增加显存占用,遇 OOM 需降低窗口,且建议至少保持 128K 以保留思考能力