huihui-ai/Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF
Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF:面向本地部署的多模态实验模型
该仓库提供基于 DeepSeek-V4.1-Flash-1017 的多模态 GGUF 量化模型,任务标签为 image-text-to-text,适合研究宽松内容限制方案、在兼容工具中本地运行的用户。模型仅对第 11 至 28 层的 18 个注意力输出权重进行去审查,专家系统未改动。
MODEL POSITIONING
这个模型解决什么问题?
这是 Huihui 为 DeepSeek-V4.1-Flash-1017 制作的去审查 GGUF 量化仓库,而非完整训练底座仓库。模型能力依据来自多模态任务标签、MoE 标签以及去审查说明,模型卡未说明参数规模、上下文长度和具体 MoE 配置,也未提供质量或速度测试。量化仓库提供 Unsloth、Strata、RCO-Coder、Maya、Imatrix 等来源或补丁形式,不同文件大小与最低内存要求差异明显。运行工具方面,模型卡明确支持 llama.cpp、Ollama 和 LM Studio;其中 llama.cpp 需 b11870 或更新版本,若使用 Strata,模型卡还提示需按说明修改。
更适合谁
- 适合研究模型去审查与内容过滤弱化方案的用户
- 适合希望在本地 GGUF 工具中运行多模态任务的用户
- 适合能自行应用补丁并管理量化文件的实验人员
- 适合可控测试环境,不建议直接用于公开或高安全要求场景
典型使用场景
- 本地多模态模型实验与接口测试
- 去审查和宽松内容生成方案研究
- 在 Ollama、llama.cpp 或 LM Studio 中部署 GGUF 权重
- 比较不同 GGUF 量化文件及补丁版本
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
多模态任务定位
任务标签为 image-text-to-text,面向图像与文本结合的输入输出场景
定向去审查
仅处理第 11 至 28 层的 18 个 attn_output_b 权重,其余权重未改
保留专家系统
模型卡明确说明专家系统未被去审查处理
量化选择丰富
仓库包含 IQ1、IQ2、IQ3、Q2,以及 Strata、Maya、Imatrix 等相关版本
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 1 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 存储空间优先可查看约 608MB、619MB、782MB、802MB 的 IQ1、IQ2 和 IQ3 文件
- 需要更多余量时,可比较约 1.16GB、1.48GB 和 1.79GB 的 IQ2_XXS、Coder 补丁及 Maya 文件
- Q2-1 约 3.66GB;Q2-2 两版约 26.44GB 和 28.72GB,后者需要明显更高的内存配置
- 来源未提供各量化版本的质量对比,不能据此保证具体量化之间的效果排序
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ1_S | 0.6 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ1_M | 0.6 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ2_XXS | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q2_K_XL | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ3_S | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ3_XXS | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ2_XXS | 1.1 GB | 1.5 GB | 2.5 GB | 8 GB | 下载文件 ↗ |
| IQ2_XXS | 1.4 GB | 1.5 GB | 2.5 GB | 8 GB | 下载文件 ↗ |
| IQ1_S | 1.7 GB | 2 GB | 3 GB | 8 GB | 下载文件 ↗ |
| Q2 | 3.4 GB | 4 GB | 5 GB | 8 GB | 下载文件 ↗ |
| Q2 | 25 GB | 27 GB | 31 GB | 37 GB | 下载文件 ↗ |
| Q2 | 27 GB | 29 GB | 33.5 GB | 40.5 GB | 下载文件 ↗ |
| Q2 | 32 GB | 34.5 GB | 39.5 GB | 48 GB | 下载文件 ↗ |
| Q2 | 34 GB | 37.5 GB | 43 GB | 52 GB | 下载文件 ↗ |
| Q2 | 39 GB | 42 GB | 48 GB | 58.5 GB | 下载文件 ↗ |
| Q2 | 42 GB | 45 GB | 51.5 GB | 62.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 1GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 2GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 可使用 llama.cpp b11870 或更新版本运行
- 可导入 Ollama 使用
- 可通过 LM Studio 使用
- Unsloth、Strata、Maya 和 Coder 等补丁版本需自行运行命令应用,模型卡未说明免补丁的完整操作流程
采用前要知道的限制
- 安全过滤显著减少,可能生成敏感、争议或不当内容
- 模型卡未说明参数规模、上下文长度、具体架构配置及完整性能表现
- 部分文件是补丁包或稀疏化版本,需要手动处理,不能直接按普通 GGUF 使用
- 不建议用于未成年人、公开环境或要求高安全保证的生产系统,使用者需承担审核与合规责任