← 返回模型库

nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF

NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF:适合小设备的一般推理与代理任务

该模型是4B 参数的英文文本生成模型,采用循环式潜在递归架构,面向通用推理、代码、工具调用及代理任务,并可调节循环次数。适合希望在较小内存设备上本地运行、能够接受英文交互的开发者。现有 GGUF 仅见 Q5_K_M,文件约 3.67GB;建议按资料预留 8GB 内存或 5GB 显存,llama.

小模型通用推理代理任务
查看模型源页面 ↗
近30天源站下载量
8975
参数
4B
上下文
未说明
架构 / 任务
text-generation
许可证
other

MODEL POSITIONING

这个模型解决什么问题?

模型能力方面,Dory1.0-4B 是采用循环式潜在递归 normalized-GPT 架构的英文文本生成模型,覆盖推理、代码、科学、指令遵循与工具调用;可设 1–4 轮循环,并宣称最多支持 256K 上下文。量化仓库方面,当前来源只列出 Q5_K_M GGUF,文件为 3,673,288,864 字节;模型卡所列评测基于 BF16,不能直接当作该 GGUF 的实测结果。运行工具方面,llama.cpp 需等待 Dory 支持合入正式版或使用指定源码构建;仓库标签也标记 Ollama 与 LM Studio 兼容,但模型卡未说明其 Dory 专项配置。

更适合谁

  • 需要轻量英文通用推理模型的本地用户
  • 关注代码与工具调用能力的开发者
  • 可接受英文交互并愿意配置 Dory 专用运行环境的用户

典型使用场景

  • 英文问答、摘要与通用推理
  • 代码生成、解释及编程辅助
  • 工具调用和多步骤代理任务
  • 长文档处理,但需自行验证长上下文配置和资源占用

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

循环计算调节

可在不更换模型的情况下调整循环次数,在推理计算量与准确率之间取舍

生成 token 效率

模型卡称循环结构可用更多单 token 计算换取较少生成 token

混合注意力架构

采用滑动窗口注意力与全注意力交错排列的循环式潜在递归架构

KV 缓存控制

支持末轮 KV 缓存,使缓存占用不随循环次数成倍增加

较长上下文上限

模型卡标称最多支持 256K token

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 4 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 当前 GGUF 来源仅列出 Q5_K_M,选择这一量化文件即可
  • BF16、MXFP8、NVFP4 是模型卡列出的其他格式,不等于本仓库另有对应 GGUF 文件
  • 模型卡评测基于 BF16,评估 Q5_K_M 时应按 GGUF 文件另行验证

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
Q5_K_M3.4 GB4 GB5 GB8 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 4GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 5GB。

阅读 8GB 显存选型指南 →

可以怎样运行

  • llama.cpp:使用正式版中已合入的 Dory 支持,或按模型卡指定源码修订版构建
  • 本地 API:通过 llama.cpp 启动本地服务并使用兼容接口,模型别名设为 dory
  • Ollama 与 LM Studio:仓库标签标记兼容,但模型卡未说明 Dory 专项启动与参数配置

采用前要知道的限制

  • 官方支持语言为英语,模型卡未说明中文能力
  • GGUF 文件评测未提供,不能直接沿用模型卡中的 BF16 分数
  • Dory 支持尚未进入常规 llama.cpp 发布版本时,需要自行构建指定源码
  • 使用受 OpenMDW-1.1 许可约束,来源元数据将许可证标记为 other,部署前需自行审阅条款