← 返回模型库

huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

Huihui-Qwen3.8-27B-abliterated-GGUF:面向本地实验的低拒答多模态模型

该仓库是基于Qwen/Qwen3.8-27B的27B参数消融版,提供GGUF量化、MTP变体及Ternary Bonsai分支,面向本地研究、内容生成和低拒答实验。普通IQ2至IQ3文件资料建议约11至14.5GB内存或9.5至12GB显存;Ternary文件需专用llama.

本地多模态低拒答模型GGUF量化模型消融
查看模型源页面 ↗
近30天源站下载量
399万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

能力层面,该模型是基于Qwen/Qwen3.8-27B的27B参数消融版本,模型卡称其安全拒答显著减少,部分系列仅处理第22至52层,MTP与视觉模块未被修改。仓库定位是提供多种GGUF量化及测试性转换版本,而非独立训练的全新架构。量化仓库包含Ternary Bonsai、IQ2系列、Q2_K_XL和IQ3_XXS等文件,文件体积约6.6至10.1GB。运行层面可用最新版Ollama和llama.cpp,资料同时标注LM Studio兼容;Ternary文件必须使用PrismML-Eng的llama.cpp分支。上下文长度与具体能力表现,模型卡未说明。

更适合谁

  • 适合研究低拒答行为和模型消融效果的本地用户
  • 适合需要试验多种GGUF量化的开发者
  • 适合具备约8GB以上显存或相近内存条件的实验用户
  • 适合受控环境中的内容生成与多模态模型测试

典型使用场景

  • 本地多模态对话与输出行为测试
  • 低拒答、拒答移除及abliteration对比实验
  • 不同GGUF量化的磁盘、内存和加载条件验证
  • 受控研究环境中的内容生成测试

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

低拒答取向

通过abliteration减少拒答响应,适合行为研究

27B参数规模

基于Qwen/Qwen3.8-27B,定位于质量与资源占用之间的本地实验

多种量化路线

同时提供Ternary、IQ2、Q2_K_XL和IQ3_XXS等文件

多运行端支持

资料标注支持Ollama、llama.cpp和LM Studio

视觉模块保留

模型卡称MTP和视觉部分未被消融修改

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 7 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 资源紧张可优先考察Ternary Bonsai,但必须改用PrismML-Eng的llama.cpp分支
  • 普通IQ2系列适合优先控制内存和显存需求,可在IQ2、IQ2_XS与IQ2_S之间按标注余量选择
  • 带MTP的文件体积更大,应确认最新版运行工具支持后再下载
  • 仓库中的K_L量化并非标准命名规则,文件大小可能与常见量化排序不一致

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
GGUF6.2 GB7 GB8 GB9.5 GB下载文件 ↗
GGUF7.2 GB8 GB9.5 GB11 GB下载文件 ↗
IQ27.4 GB8 GB9.5 GB11.5 GB下载文件 ↗
IQ27.7 GB8.5 GB10 GB12 GB下载文件 ↗
IQ2_XS7.8 GB8.5 GB10 GB12 GB下载文件 ↗
IQ2_S7.8 GB8.5 GB10 GB12 GB下载文件 ↗
IQ2_XS8.2 GB9 GB10.5 GB12.5 GB下载文件 ↗
IQ2_S8.2 GB9 GB10.5 GB12.5 GB下载文件 ↗
IQ2_S8.6 GB9.5 GB11 GB13 GB下载文件 ↗
IQ2_S8.9 GB10 GB11.5 GB13.5 GB下载文件 ↗
Q2_K_XL9.3 GB10.5 GB12 GB14 GB下载文件 ↗
IQ3_XXS9.4 GB10.5 GB12 GB14.5 GB下载文件 ↗
IQ3_XXS9.4 GB10.5 GB12 GB14.5 GB下载文件 ↗
IQ3_XXS9.7 GB11 GB12.5 GB15 GB下载文件 ↗
IQ3_XXS9.7 GB11 GB12.5 GB15 GB下载文件 ↗
Q2_K10 GB11 GB13 GB15.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 7GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 8GB。

阅读 8GB 显存选型指南 →

可以怎样运行

  • 可使用最新版Ollama,并按模型卡提供名称直接调用
  • 普通GGUF文件可使用最新版llama.cpp加载
  • Ternary Bonsai文件只能使用PrismML-Eng的llama.cpp分支,标准版无法运行
  • 资料标注LM Studio兼容,但特殊量化仍需核对对应运行支持

采用前要知道的限制

  • 安全过滤显著减少,可能生成敏感、争议或不适当内容,不适合公开环境及未成年人使用
  • 模型卡将消融实现描述为粗糙的概念验证,部分系列仅消融部分层
  • Ternary文件依赖专用内核,不能直接使用标准llama.cpp
  • 上下文长度、速度、质量排名及硬件实测表现,模型卡未说明