近30天源站下载量
159.7万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型能力上，它以 Qwen3.8-27B 为基座，保留思考、推理、代码、指令遵循和工具调用能力，并采用混合注意力架构，模型卡标称支持 262K 上下文；图片输入另需可选 mmproj。量化仓库提供 PTQ1_0、PQ2_0、标准 Q2_0 与 F16，其中前两者是三值打包，需 PrismML 的 llama.cpp 内核，Q2_0 可用于 b11556 及更新的主线版本。运行工具还包括 Ollama、LM Studio、MLX 等，但模型卡未说明中文专项能力、训练数据细节及这些工具间的质量一致性。
更适合谁
- 需要在内存有限的笔记本或单卡设备上运行 27B 参数模型的用户
- 重视离线运行、提示词数据留在本地的个人或团队
- 熟悉 llama.cpp，愿意根据版本选择 Q2_0 或专用内核的用户
典型使用场景
- 本地运行推理、问答与文本生成任务
- 代码辅助、仓库级分析与长时间上下文处理
- 本地智能体和工具调用应用
- 无网络或隐私敏感场景下的离线推理
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
三值低比特存储
权重覆盖嵌入、注意力投影、MLP 投影和 LM Head，PTQ1_0 文件约 5.95GB
推理与代理行为
模型卡报告保留了思考、数学、编码、指令遵循和工具调用能力
长上下文设计
采用约 75% 线性注意力与约 25% 完整注意力的混合架构，标称上下文为 262K tokens
多量化与后端选择
提供 PTQ1_0、PQ2_0、Q2_0 和 F16，并面向 CUDA、Metal、CPU 部署
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 6 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 内存最紧张时选 Ternary-Bonsai-2-27B-PTQ1_0.gguf，文件最小，但必须使用配套专用内核
- 已配置 PrismML llama.cpp 且可接受更大文件时可选 Ternary-Bonsai-2-27B-PQ2_0.gguf
- 希望直接使用主线 llama.cpp 时选 Ternary-Bonsai-2-27B-Q2_0.gguf，并确认版本至少为 b11556
- 资源充足且需要 FP16 对照时可下载 Ternary-Bonsai-2-27B-F16.gguf
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 6GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 7GB。
阅读 8GB 显存选型指南 →可以怎样运行
- 主线 llama.cpp：使用 Q2_0，版本需为 b11556 或更新；可 CPU 运行或用全层卸载参数调用 GPU
- PrismML llama.cpp：使用 PTQ1_0 或 PQ2_0，配合 CUDA、Metal 或 CPU 后端
- Ollama 与 LM Studio：资料将两者标记为兼容，但具体导入方式及内核支持范围模型卡未说明
- Apple Silicon：可另选模型卡提到的 MLX companion 2bit 版本
采用前要知道的限制
- 模型卡未说明中文专项能力，评测与使用建议不能直接等同于中文场景表现
- 模型卡汇总评测显示知识推理和视觉类别仍低于 FP16 参考值
- low 推理强度不受支持；生成上限过小可能截断思考过程
- PTQ1_0 与 PQ2_0 无法由旧版或主线 llama.cpp 直接识别，过旧构建加载 Q2_0 还可能产生错误输出