近30天源站下载量
33.1万
参数
未知
上下文
未说明
架构 / 任务
image-text-to-text
许可证
mit
MODEL POSITIONING
这个模型解决什么问题？
模型能力来自 DeepSeek-V4.1-Flash-1017 基座，原始模型有 763.2B 参数；该 Coder 每层从 384 个路由专家中保留 192 个，保留部分约 280.1B 参数，重点强化代码、工具调用、长上下文与视觉。量化仓库采用 GSQ-RCO：先按 IQ2_XXS 量化，再联合剪除专家；72.12 GB 为主干分片，另需 110.60 GB 的 IQ4_NL Engram 表。运行层面，模型卡主推 Strata 与新版 llama.cpp；Ollama、LM Studio 虽标记支持，但具体配置方法模型卡未说明。
更适合谁
- 需要本地运行代码生成、仓库级修改和智能体工具调用流程的开发者
- 能提供大容量内存、显存或高速磁盘映射环境的实验性用户
- 关注极低比特 MoE 压缩、专家剪枝和 GGUF 分片部署的研究者
典型使用场景
- 生成、审查和修改项目代码
- 执行带工具调用的多步智能体任务
- 处理长上下文代码库或技术资料
- 结合图像输入生成图形、SVG 和动画代码
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
代码与智能体能力
针对代码、工具调用、多步代理流程和长上下文进行专家筛选与能力定向保留
专家剪枝
每层保留 192 个、共 384 个路由专家，模型卡称其意在保持目标领域能力
超低比特主干
主干使用 IQ2_XXS，按原始 Transformer 参数计算为 1.05 bpw，文件占 72.12 GB
视觉兼容
属于 image-text-to-text 模型，可配合 0.97 GB 视觉投影器处理图像输入
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 111.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 主干实际由多个 IQ2_XXS 分片组成，不应只下载 IQ4_NL 文件
- IQ4_NL Engram 表是完整运行所需的独立分片，可复用未剪枝版本已有的同名文件
- 该版本混合采用专家剪枝与量化，1.05 bpw 是相对原始 Transformer 参数计算的有效值，并非所有权重统一为 1 bit
- 不要将其视为通用低比特版本，模型卡明确建议通用用途选择未剪枝的 GSQ-RCO 发布
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ4_NL | 103 GB | 111.5 GB | 127 GB | 154.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 111.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 127GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp b11870 或更高版本，运行时需让程序从同一目录自动打开后续分片
- Strata Engine 面向单张 NVIDIA GPU，提供一键安装和本地 OpenAI 兼容端点
- 图像输入需通过 --mmproj 加载视觉投影器；llama-mtmd-cli 还需启用嵌入的聊天模板
- Ollama 与 LM Studio 在运行工具元数据中标记为支持，但模型卡未说明具体配置步骤
采用前要知道的限制
- 这是实验性发布，模型卡提示仍需收集未覆盖能力方面的反馈
- 移除一半路由专家必然降低部分能力，代码、智能体、长上下文和视觉之外可能退化更明显
- 多轮、多步骤代理任务容易累积误差，模型卡明确指出其容量下降容忍度低于单次代码生成
- 精确上下文长度、完整套件独立硬件需求及 Ollama、LM Studio 配置细节模型卡未说明