← 返回模型库

AtomicChat/DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-GGUF

DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-GGUF:面向本地运行的去拒答文本生成模型

该仓库提供 DeepSeek-V4.1-Flash-1017 的去拒答 GGUF 量化,面向本地文本生成与推理实验。模型卡称其为 763B 参数、384 专家架构,保留路由专家权重并移除拒答方向。

本地推理去拒答大型 MoE
查看模型源页面 ↗
近30天源站下载量
16万
参数
未知
上下文
未说明
架构 / 任务
text-generation
许可证
mit

MODEL POSITIONING

这个模型解决什么问题?

模型能力方面,模型卡将 DeepSeek-V4.1-Flash-1017 描述为 763B 参数、384 专家的文本生成模型,AtomicChat 在 GSQ-RCO 量化骨干上修改部分稠密残差写入张量,以移除拒答方向,并称路由专家权重保持不变。量化仓库提供 IQ1_M、IQ2_XXS、IQ2_XS 三档 GGUF,但所列文件只是四片仓库中的首片。运行工具方面,模型卡明确推荐 Strata,并要求另取 ISTA-DASLab 的共享 Engram 文件;模型卡未说明上下文长度,也未确认这些文件已在 llama.cpp 可用。

更适合谁

  • 适合研究无拒答方向或本地开放文本生成的用户
  • 适合拥有 140GB 以上内存及大量存储空间的高端设备
  • 适合熟悉 GGUF、Strata 和大型 MoE 模型部署的技术用户

典型使用场景

  • 本地开放式问答、写作和对话
  • 研究拒答方向移除与模型行为变化
  • 对比不同 GGUF 量化版本的任务表现

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

大规模 MoE 架构

模型卡标注为 763B 参数、384 专家,适合复杂文本生成与推理实验

去拒答修改

在注意力输出、共享专家投影和 Engram 值投影中写入拒答移除修改

专家权重保留

模型卡称 384 个 GSQ 路由专家权重保持逐字节不变

推理能力保留

模型卡以 GPQA-Diamond 和 AIME25 对比结果支持该量化版本未明显损失推理表现

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 121.5 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • IQ1_M 首片约 120.7GB,在三个选项中文件最小,条目资源估算也最低
  • IQ2_XXS 首片约 138.2GB,模型卡将其作为去拒答与推理对比使用的量化档位
  • IQ2_XS 首片约 155.2GB,条目估算要求高于另外两档
  • 下载时应选完整四片集合,并另备 ISTA-DASLab 的共享 Engram 文件

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_M需全部分卷112 GB121.5 GB138.5 GB169 GB查看文件组 ↗
IQ2_XXS需全部分卷129 GB139.5 GB159 GB193.5 GB查看文件组 ↗
IQ2_XS需全部分卷145 GB156.5 GB178.5 GB217 GB查看文件组 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 121.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 138.5GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • 官方模型卡给出的运行方式是 Strata,并建议将共享 Engram 文件放在快速 SSD
  • 运行元数据标记 Ollama、llama.cpp、LM Studio 兼容,但模型卡只确认这些文件可在 Strata 运行
  • 模型卡称该版本在 llama.cpp 中尚不可用,使用前需核对工具最新状态

采用前要知道的限制

  • 拒答分类器检查回答开头,后文出现的软拒答仍可能通过
  • 拒答移除覆盖多个主题,并未保留更窄范围的安全拒答
  • 开启思考模式时可能先生成较长计划,需要增加 token 预算或降低思考强度
  • 模型卡未说明上下文长度、采样模板细节及 Ollama、LM Studio 的实际启动方式