近30天源站下载量
16万
参数
未知
上下文
未说明
架构 / 任务
text-generation
许可证
mit
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,模型卡将 DeepSeek-V4.1-Flash-1017 描述为 763B 参数、384 专家的文本生成模型,AtomicChat 在 GSQ-RCO 量化骨干上修改部分稠密残差写入张量,以移除拒答方向,并称路由专家权重保持不变。量化仓库提供 IQ1_M、IQ2_XXS、IQ2_XS 三档 GGUF,但所列文件只是四片仓库中的首片。运行工具方面,模型卡明确推荐 Strata,并要求另取 ISTA-DASLab 的共享 Engram 文件;模型卡未说明上下文长度,也未确认这些文件已在 llama.cpp 可用。
更适合谁
- 适合研究无拒答方向或本地开放文本生成的用户
- 适合拥有 140GB 以上内存及大量存储空间的高端设备
- 适合熟悉 GGUF、Strata 和大型 MoE 模型部署的技术用户
典型使用场景
- 本地开放式问答、写作和对话
- 研究拒答方向移除与模型行为变化
- 对比不同 GGUF 量化版本的任务表现
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
大规模 MoE 架构
模型卡标注为 763B 参数、384 专家,适合复杂文本生成与推理实验
去拒答修改
在注意力输出、共享专家投影和 Engram 值投影中写入拒答移除修改
专家权重保留
模型卡称 384 个 GSQ 路由专家权重保持逐字节不变
推理能力保留
模型卡以 GPQA-Diamond 和 AIME25 对比结果支持该量化版本未明显损失推理表现
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 121.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- IQ1_M 首片约 120.7GB,在三个选项中文件最小,条目资源估算也最低
- IQ2_XXS 首片约 138.2GB,模型卡将其作为去拒答与推理对比使用的量化档位
- IQ2_XS 首片约 155.2GB,条目估算要求高于另外两档
- 下载时应选完整四片集合,并另备 ISTA-DASLab 的共享 Engram 文件
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 121.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 138.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 官方模型卡给出的运行方式是 Strata,并建议将共享 Engram 文件放在快速 SSD
- 运行元数据标记 Ollama、llama.cpp、LM Studio 兼容,但模型卡只确认这些文件可在 Strata 运行
- 模型卡称该版本在 llama.cpp 中尚不可用,使用前需核对工具最新状态
采用前要知道的限制
- 拒答分类器检查回答开头,后文出现的软拒答仍可能通过
- 拒答移除覆盖多个主题,并未保留更窄范围的安全拒答
- 开启思考模式时可能先生成较长计划,需要增加 token 预算或降低思考强度
- 模型卡未说明上下文长度、采样模板细节及 Ollama、LM Studio 的实际启动方式