近30天源站下载量
327万
参数
未知
上下文
未说明
架构 / 任务
text-generation
许可证
mit
MODEL POSITIONING
这个模型解决什么问题？
模型能力方面，DeepSeek-V4.1-Flash-1017 是 763.2B 参数、384 路由专家的稀疏 MoE 模型，每 token 激活 6 个专家，模型卡标注 1M 上下文，并提供推理、工具调用和图像输入模板。该仓库是上述模型的 GSQ-RCO 非均匀 GGUF 量化版本，不等同于基础模型本身；它按张量敏感度分配量化类型，包含三个骨架版本及共享 Engram 文件。运行工具方面，模型卡重点说明 Strata 与 llama.cpp b11870 及以上版本；元信息另标记 Ollama、LM Studio 可用，但未给出对应配置步骤。
更适合谁
- 需要在本地运行超大 MoE 文本生成模型的高级用户
- 追求较低比特量化，同时关注基础模型任务表现恢复度的用户
- 配备大容量 SSD、系统内存并能配置 Strata 的部署者
- 需要 1M 上下文、推理模式或图像输入能力的实验用户
典型使用场景
- 本地长上下文文本生成与资料分析
- 数学、科学推理和代码生成实验
- 工具调用聊天模板与智能体流程测试
- 配合视觉投影器进行图像对话
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
稀疏 MoE 架构
具有 763.2B 参数、384 个路由专家，每 token 仅激活 6 个专家
超长上下文
模型卡标注支持 1M-token 上下文窗口
推理与多模态接口
支持可调 reasoning effort、工具调用模板及图像输入格式
非均匀低比特量化
GSQ 联合学习低比特量化参数，RCO 在体积预算下为各张量选择量化类型
量化表现可核验
每种构建附带张量量化分配文件，便于检查实际位宽与类型
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 111.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 优先考虑 IQ2_XXS：模型卡称其最接近基础模型，并在三项任务平均分上报告达到 100.0% 恢复度
- IQ1_M 是体积最小的构建，模型卡报告任务平均恢复度为 98.7%，适合更重视存储空间的用户
- IQ2_XS 使用更高平均位宽，模型卡报告整体恢复度为 99.8%，适合仍有较大存储预算的用户
- 三个构建均需五个骨干分片，并共享约 110.60 GB 的 Engram 文件；图像输入另需约 0.97 GB 的视觉投影器
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ4_NL | 103 GB | 111.5 GB | 127 GB | 154.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 111.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 127GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp b11870 或更新版本加载，当前文件采用新版 DeepSeek-V4.1 布局
- 使用 Strata 运行量化文件，获得单 GPU 配置和本地 OpenAI 兼容接口
- 资料元信息标记支持 Ollama 与 LM Studio，但模型卡未说明对应安装及加载步骤
- 图像推理可使用 llama-mtmd-cli，并传入视觉投影器与聊天模板选项
采用前要知道的限制
- 完整构建体积超过 231 GB，对磁盘、内存和跨层加载环境要求较高
- 2026 年 10 月 27 日前的文件不能直接用于新版 llama.cpp，需要按模型卡说明转换
- 图像功能并非仅下载 GGUF 即可使用，还必须配置视觉投影器
- 模型卡未说明具体推理速度；所列任务结果均是在 reasoning effort 50 条件下测得