← 返回模型库

huihui-ai/Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF

Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF:面向本地部署的多模态实验模型

该仓库提供基于 DeepSeek-V4.1-Flash-1017 的多模态 GGUF 量化模型,任务标签为 image-text-to-text,适合研究宽松内容限制方案、在兼容工具中本地运行的用户。模型仅对第 11 至 28 层的 18 个注意力输出权重进行去审查,专家系统未改动。

多模态模型本地部署GGUF 量化去审查模型
查看模型源页面 ↗
近30天源站下载量
7万
参数
未知
上下文
未说明
架构 / 任务
image-text-to-text
许可证
mit

MODEL POSITIONING

这个模型解决什么问题?

这是 Huihui 为 DeepSeek-V4.1-Flash-1017 制作的去审查 GGUF 量化仓库,而非完整训练底座仓库。模型能力依据来自多模态任务标签、MoE 标签以及去审查说明,模型卡未说明参数规模、上下文长度和具体 MoE 配置,也未提供质量或速度测试。量化仓库提供 Unsloth、Strata、RCO-Coder、Maya、Imatrix 等来源或补丁形式,不同文件大小与最低内存要求差异明显。运行工具方面,模型卡明确支持 llama.cpp、Ollama 和 LM Studio;其中 llama.cpp 需 b11870 或更新版本,若使用 Strata,模型卡还提示需按说明修改。

更适合谁

  • 适合研究模型去审查与内容过滤弱化方案的用户
  • 适合希望在本地 GGUF 工具中运行多模态任务的用户
  • 适合能自行应用补丁并管理量化文件的实验人员
  • 适合可控测试环境,不建议直接用于公开或高安全要求场景

典型使用场景

  • 本地多模态模型实验与接口测试
  • 去审查和宽松内容生成方案研究
  • 在 Ollama、llama.cpp 或 LM Studio 中部署 GGUF 权重
  • 比较不同 GGUF 量化文件及补丁版本

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

多模态任务定位

任务标签为 image-text-to-text,面向图像与文本结合的输入输出场景

定向去审查

仅处理第 11 至 28 层的 18 个 attn_output_b 权重,其余权重未改

保留专家系统

模型卡明确说明专家系统未被去审查处理

量化选择丰富

仓库包含 IQ1、IQ2、IQ3、Q2,以及 Strata、Maya、Imatrix 等相关版本

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 1 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 存储空间优先可查看约 608MB、619MB、782MB、802MB 的 IQ1、IQ2 和 IQ3 文件
  • 需要更多余量时,可比较约 1.16GB、1.48GB 和 1.79GB 的 IQ2_XXS、Coder 补丁及 Maya 文件
  • Q2-1 约 3.66GB;Q2-2 两版约 26.44GB 和 28.72GB,后者需要明显更高的内存配置
  • 来源未提供各量化版本的质量对比,不能据此保证具体量化之间的效果排序

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_S0.6 GB1 GB2 GB8 GB下载文件 ↗
IQ1_M0.6 GB1 GB2 GB8 GB下载文件 ↗
IQ2_XXS0.7 GB1 GB2 GB8 GB下载文件 ↗
Q2_K_XL0.7 GB1 GB2 GB8 GB下载文件 ↗
IQ3_S0.7 GB1 GB2 GB8 GB下载文件 ↗
IQ3_XXS0.7 GB1 GB2 GB8 GB下载文件 ↗
IQ2_XXS1.1 GB1.5 GB2.5 GB8 GB下载文件 ↗
IQ2_XXS1.4 GB1.5 GB2.5 GB8 GB下载文件 ↗
IQ1_S1.7 GB2 GB3 GB8 GB下载文件 ↗
Q23.4 GB4 GB5 GB8 GB下载文件 ↗
Q225 GB27 GB31 GB37 GB下载文件 ↗
Q227 GB29 GB33.5 GB40.5 GB下载文件 ↗
Q232 GB34.5 GB39.5 GB48 GB下载文件 ↗
Q234 GB37.5 GB43 GB52 GB下载文件 ↗
Q239 GB42 GB48 GB58.5 GB下载文件 ↗
Q242 GB45 GB51.5 GB62.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 1GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 2GB。

阅读 4GB 显存选型指南 →

可以怎样运行

  • 可使用 llama.cpp b11870 或更新版本运行
  • 可导入 Ollama 使用
  • 可通过 LM Studio 使用
  • Unsloth、Strata、Maya 和 Coder 等补丁版本需自行运行命令应用,模型卡未说明免补丁的完整操作流程

采用前要知道的限制

  • 安全过滤显著减少,可能生成敏感、争议或不当内容
  • 模型卡未说明参数规模、上下文长度、具体架构配置及完整性能表现
  • 部分文件是补丁包或稀疏化版本,需要手动处理,不能直接按普通 GGUF 使用
  • 不建议用于未成年人、公开环境或要求高安全保证的生产系统,使用者需承担审核与合规责任