近30天源站下载量
4.8万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型能力来源于模型卡描述的v0.1预览测量，覆盖数学、代码、工具调用与两步代理任务的小型基准，结论是与父包能力持平；其差异化能力来自直接在约400个PQ2_0张量的2-bit码本上编辑实现拒绝减弱。量化仓库仅提供一个PQ2_0文件（2.13 bpw，7.21GB），其余451张量与父包字节完全一致，未经过BF16反量化或重新量化。运行层面支持llama.cpp、Ollama与LM Studio等量化原生推理路径，无需高精度反量化适配。多轮鲁棒性、其他语言与提示框架下的回归情况模型卡未说明。
更适合谁
- 希望在本地以较小体积跑27B量级模型的推理玩家
- 需要中等推理档位下较少拒绝回答的研究与写作用户
- 已有约17GB以上显存或20GB以上内存的消费级硬件持有者
- 愿意针对预览版提交反馈、报告边缘案例的社区参与者
典型使用场景
- 本地研究abliteration对模型拒绝行为的影响
- 内容创作中希望尽量避免被拒答的中英文写作
- 工具调用与两步代理流程的中等推理实验
- 在消费级硬件上尝鲜27B量级模型的预览测试
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
拒绝显著减弱
medium档位n40有害提示上从37/40降至0/40
量化原生编辑
直接在PQ2_0码本上修改400张量，未做BF16反量化
文件结构一致
编辑后体积与张量形状与父包完全相同，451张量字节相同
推理能力保留
数学、代码、工具调用、代理基准测量上与父包持平
体积紧凑
单一7.21GB PQ2_0文件可塞入消费级显存或内存
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 7.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 仓库仅提供PQ2_0一种量化（2.13bpw，约7.21GB），无其他比特档位可选
- 选择本仓库意味着接受2-bit精度而非更高保真度
- 如需更高保真度应回到父包prism-ml/Ternary-Bonsai-2-27B-gguf
- 因未重新量化，编辑在原始2-bit格点上完成，不存在重压误差
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| GGUF | 6.7 GB | 7.5 GB | 9 GB | 10.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 7.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 9GB。
阅读 12GB 显存选型指南 →可以怎样运行
- llama.cpp：模型卡标注的官方运行库
- Ollama：仓库运行时标签显示支持
- LM Studio：仓库运行时标签显示支持
- 任意OpenAI兼容客户端通过本地推理服务调用
采用前要知道的限制
- 预览v0.1状态，作者明确表示未完成并鼓励社区反馈
- 能力基准规模较小（10数学、20代码、15工具、5代理），仅单轮测量
- 默认xhigh档位测试中16/40答案为空，需显式切换到medium
- 拒绝减弱带来安全风险，仅适合研究与本地非受控用途