近30天源站下载量
11.2万
参数
9B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
该仓库提供 Ternary-Bonsai-2-9B 的三值 GGUF 量化文件，模型基于 Qwen3.5-9B，包含约 8.95B 语言参数、约 0.46B 视觉塔及 262,144 token 上下文，支持文本与图像输入。量化仓库提供多种语言模型打包、可选视觉投影器，以及 MTP、DFlash2 推测解码组件。运行工具方面，完整功能依赖 PrismML 的 llama.cpp 分支；上游 llama.cpp 仅支持 Q2_0。模型卡未说明训练数据、基准跑分、实际速度及不同设备上的质量表现。
更适合谁
- 希望在本地运行 9B 参数图文模型的用户
- 内存或显存占用有限的端侧部署用户
- 愿意配置 PrismML 专用 llama.cpp 环境的用户
典型使用场景
- 本地文本问答与对话
- 图片与文字联合输入的多模态问答
- 代码编辑、文本改写等端侧辅助任务
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
9B 图文能力
9B 参数视觉语言模型，支持文本与图像输入，视觉塔约 0.46B 参数
三值压缩
嵌入、注意力投影、MLP 投影及 LM Head 使用三值权重，并保存分组 FP16 scale
长上下文
继承 Qwen3.5-9B 混合注意力架构，支持 262,144 token 上下文
多样量化布局
提供 PTQ1_0、PQ2_0、Q2_0 三种语言模型打包，以及可选 MTP 和 DFlash2 文件
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 2 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 首选 PQ2_0 作为默认方案，模型卡称其解包成本较低
- 内存最紧张时选择 PTQ1_0，其语言模型文件最小
- 需要上游 llama.cpp 时选择 Q2_0；上游不接受 PTQ1_0 和 PQ2_0
- 图像任务使用 Q8_0 mmproj；MTP 文件应替代普通 PQ2_0 文件加载，不要同时加载
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 2GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 3GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 完整运行使用 PrismML 的 llama.cpp prism 分支，可加载全部文件、MTP 与 DFlash2
- 上游 llama.cpp 可运行 Q2_0，并需包含 Hadamard 激活运行时
- Apple Silicon 可使用 mlx-vlm 0.7.8 及以上版本加载对应的 MLX 权重
- 可使用 llama-server 提供 OpenAI 兼容服务；资料标签同时标记 Ollama、LM Studio 与 llama.cpp 兼容
采用前要知道的限制
- 模型卡未说明训练数据、基准成绩、速度或质量排名
- 上游 llama.cpp 不支持 PTQ1_0 与 PQ2_0，完整功能需要 PrismML 专用构建
- BF16 mmproj 在多个图像请求并发时可能导致 llama-server 崩溃，Q8_0 未受影响
- 思考模式可能消耗 3,000 以上思考 token，模型卡建议至少预留 8,192 输出 token