MODEL POSITIONING
这个模型解决什么问题?
模型本体来自BottleCapAI对Qwen3.6-27B的简短推理微调,保留精度的同时将思考token压缩约40-46%,定位为需要高效链式思考的中高端推理底座。GGUF仓库由protoLabsAI重新打包,核心贡献有两点:一是每档量化都内嵌MTP推测解码草稿头,免去额外配对;二是新增Blackwell专属NVFP4文件以发挥RTX 50系与RTX PRO 6000的FP4张量核。同一上游权重提供IQ2到Q8_0加bf16无损版的完整梯度。运行时需支持nextn块的较新llama.cpp(带--spec-type draft-mtp)或Ollama 0.31+,LM Studio亦可加载。模型卡未给出上下文长度与具体任务标签。
更适合谁
- 拥有RTX 50系列或RTX PRO 6000等Blackwell显卡的本地推理用户
- 追求减少思考token、降低推理时延的链式思考场景使用者
- 需要在16至24GB消费级显卡部署27B级思考模型的用户
- 已熟悉llama.cpp或Ollama并希望开箱获得推测解码加速的进阶玩家
典型使用场景
- 数学、逻辑、代码等需要链式思考的本地推理任务
- 长链路推理中希望降低延迟与token消耗的场景
- 27B级别思考模型的本地部署与对比基准
- Blackwell架构显卡的量化与加速实验
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
精简思考
相比Qwen3.6-27B基座平均减少约46%思考token,量化后仍保持该特性
内嵌MTP加速
每个量化文件自带MTP草稿头,draft acceptance约62-91%,免去二次配对
NVFP4原生支持
专为Blackwell FP4张量核优化,RTX 50系与PRO 6000上效率最佳
完整量化梯度
从IQ2到Q8_0再到bf16无损主版本,覆盖约10GB到54GB的显存区间
低档位完整性
Q3_K_M与IQ3_M通过quant_sensitivity与function_call校验,与NVFP4参照持平
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 13 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 想获得免费推测解码:任一带MTP后缀的档位均可直接启用
- 显存充裕且追求无损:bf16-MTP(约54.7GB)或Q8_0-MTP(约29GB)
- 24GB Blackwell双卡有限预算:NVFP4-Q4_K_M-MTP(约15.7GB)是该档唯一显著缩小的选项
- 16GB以下显卡:IQ3_M-MTP或Q3_K_M-MTP(均约12.8-13.5GB),已通过imatrix完整性校验
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ3_M | 12 GB | 13 GB | 15 GB | 18 GB | 下载文件 ↗ |
| Q3_K_M | 13 GB | 14 GB | 16 GB | 19 GB | 下载文件 ↗ |
| Q4_K_M | 15 GB | 16 GB | 18.5 GB | 22 GB | 下载文件 ↗ |
| Q4_K_M | 16 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| GGUF | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
| Q5_K_M | 18 GB | 20 GB | 23 GB | 27.5 GB | 下载文件 ↗ |
| Q6_K | 21 GB | 23 GB | 26.5 GB | 31.5 GB | 下载文件 ↗ |
| Q8_0 | 27 GB | 29.5 GB | 34 GB | 41 GB | 下载文件 ↗ |
| BF16 | 51 GB | 55 GB | 63 GB | 76.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 13GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 15GB。
阅读 24GB 显存选型指南 →可以怎样运行
- llama.cpp近期版本加--spec-type draft-mtp开启MTP推测解码
- Ollama 0.31及以上版本可直接加载MTP内嵌量化
- LM Studio可加载,但MTP支持情况需自行验证
- vLLM部署NVFP4需使用--linear-backend marlin并设置--max-num-seqs 256与--gpu-memory-utilization 0.85
采用前要知道的限制
- 必须使用模型推荐采样(temp 0.6、top_p 0.95、top_k 20),贪心解码易导致无限循环不输出答案
- 模型卡未给出明确的上下文长度与训练数据细节
- 较旧版本llama.cpp或Ollama(早于0.31)会因缺失nextn块加载失败
- NVFP4路径在vLLM的FlashInfer FP4 kernel下存在CUDA-graph捕获挂起问题
COMPARISON PATH
继续对比同类方案
不要只看单页结论;沿同类用途继续比较能力边界、硬件门槛与维护状态。