近30天源站下载量
80.6万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
模型本体为BottleCap对Qwen3.8-27B的微调，主打高效思考与视觉理解，在原模型基础上削减37%平均推理token并保留85.8%综合准确率，需配合mmproj文件启用图像输入。本仓库为该模型的GGUF量化版本，覆盖IQ4_XS、Q4_K_M、Q6_K、Q8_0、f16五种精度，低位量化采用importance matrix与按张量精度分配策略。运行工具支持llama.cpp（需v0.4.1或更新以启用MTP自投机解码与视觉投影）、Ollama与LM Studio。模型卡未说明上下文长度上限与多语言支持范围。
更适合谁
- 需要本地部署多模态对话与图像理解的开发者
- 关注推理token消耗的研究者与项目方
- 拥有16GB以上显存或大内存工作站的硬件用户
- 寻求离线隐私推理与OpenAI兼容接口的用户
典型使用场景
- 本地多模态问答与图像理解
- 复杂推理与长链路思考任务
- Token消耗敏感的生产环境部署
- 离线与隐私敏感场景推理
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
高效思考
平均削减37%推理token使用量
视觉理解
支持图像输入的多模态对话能力
量化灵活
提供从IQ4_XS到f16共五种精度选择
MTP自投机解码
携带MTP头可在llama.cpp实现解码加速
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 16 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 显存或内存吃紧优先选IQ4_XS，文件最小
- 平衡体积与质量可考虑Q4_K_M或Q6_K
- 追求无损对比参考可选f16但需最大存储空间
- 注意许可证为PolyForm Small Business 1.0.0叠加BottleCap个人使用授权
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 16GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 18.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- llama.cpp CLI加载mmproj文件启用视觉并启用MTP自投机解码
- LM Studio自动识别mmproj并开启图像按钮
- Ollama下载对应模型与mmproj文件后启动
- llama-server加mmproj参数暴露OpenAI兼容视觉接口
采用前要知道的限制
- 许可证为PolyForm Small Business叠加BottleCap个人使用授权，商业用途受限
- f16文件54.7GB，硬件门槛较高
- 评测中Q6_K在GPQA-Diamond与AA-LCR出现显著差距
- 模型卡未明确上下文长度与多语言能力范围