近30天源站下载量
未核验 / 暂无记录
参数
27B
上下文
未说明
架构 / 任务
未分类
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
模型能力来自对 Qwen3.8-27B 的 1.58 位三值化重制,保留视觉识别与严格条件下的提示词写作,放弃编程和长文档阅读;模型卡明确写明不适合编码任务。可选 HiMitsuba LoRA 可减少敏感请求的拒绝与回避。模型卡未说明通用助手、数学或工具调用能力。量化仓库提供 PQ2_0 与 PTQ1_0 两种三元组格式 GGUF,需配合 PrismML 维护的 llama.cpp prism 分支。运行工具覆盖 llama-server、Ollama、LM Studio,并附带 NVIDIA 与 AMD Windows 双击启动脚本。
更适合谁
- ComfyUI 工作流中的提示词撰写者
- 需要图像描述能力的本地部署玩家
- 希望在单卡 16GB 显存上运行 27B 模型的用户
- 想要可切换无审查选项的本地大模型爱好者
典型使用场景
- 为 Stable Diffusion、Krea、视频模型按规则生成提示词
- 对输入图像进行内容描述或反向出图
- 通过 ComfyUI 的 Ollama 节点与图像模型串联
- 通过 OpenAI 兼容接口接入 OpenCode、SillyTavern、Open WebUI 等应用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
严格条件遵循
模型卡强调按系统提示的字数、必含词、禁用词和输出格式生成提示词,PQ2_0 规则遵循得分 84/100
图像描述能力
模型卡视觉识别得分 87.8/100,叠加 HiMitsuba 后达 89.8/100,接近原始 BF16
三值化体积优势
27B 参数压缩至 7.3GB,单张 16GB 显卡即可加载
可选无审查 LoRA
HiMitsuba 将敏感请求拒绝率从 48% 降到 7%,且不影响普通提示词质量
按当前权重估算的硬件准备
- 当前尚无可用量化文件估算
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 优先下载 Mitsuba-ComfyUI-27B-v1.18-PQ2_0.gguf(7.32 GB,模型卡标为推荐)
- PTQ1_0 版本(6.00 GB)更小,模型卡指出当前内核下视觉能力更低
- HiMitsuba-Uncensored-LoRA.gguf 仅与 PQ2_0 兼容,不能用于 PTQ1_0
- mmproj-Q8_0.gguf 是视觉编码器,需按需一并放置
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|
暂无已核验的完整权重文件,请到模型源页面核对。
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 待确认GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 待确认GB。
阅读 8GB 显存选型指南 →可以怎样运行
- llama-server 使用 PrismML prism 分支构建,需加 --reasoning off 关闭思考
- Ollama 或 LM Studio 直接加载 GGUF 文件
- Windows 下使用仓库自带的 HiMitsuba_start.bat 或 _AMD.bat 一键启动
- ComfyUI 通过 comfyui-ollama 等 Ollama 节点连接,keep_alive 建议设为 0
采用前要知道的限制
- 模型卡明确指出不适合编程,编码得分仅 4/100
- 长文档阅读能力较原始模型下降,读懂得分从 76 降到 48
- 上游 llama.cpp 暂不支持 PQ2_0 与 PTQ1_0,必须使用 PrismML 分支
- 模型卡未说明通用对话、推理或工具调用能力范围