近30天源站下载量
8975
参数
4B
上下文
未说明
架构 / 任务
text-generation
许可证
other
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,Dory1.0-4B 是采用循环式潜在递归 normalized-GPT 架构的英文文本生成模型,覆盖推理、代码、科学、指令遵循与工具调用;可设 1–4 轮循环,并宣称最多支持 256K 上下文。量化仓库方面,当前来源只列出 Q5_K_M GGUF,文件为 3,673,288,864 字节;模型卡所列评测基于 BF16,不能直接当作该 GGUF 的实测结果。运行工具方面,llama.cpp 需等待 Dory 支持合入正式版或使用指定源码构建;仓库标签也标记 Ollama 与 LM Studio 兼容,但模型卡未说明其 Dory 专项配置。
更适合谁
- 需要轻量英文通用推理模型的本地用户
- 关注代码与工具调用能力的开发者
- 可接受英文交互并愿意配置 Dory 专用运行环境的用户
典型使用场景
- 英文问答、摘要与通用推理
- 代码生成、解释及编程辅助
- 工具调用和多步骤代理任务
- 长文档处理,但需自行验证长上下文配置和资源占用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
循环计算调节
可在不更换模型的情况下调整循环次数,在推理计算量与准确率之间取舍
生成 token 效率
模型卡称循环结构可用更多单 token 计算换取较少生成 token
混合注意力架构
采用滑动窗口注意力与全注意力交错排列的循环式潜在递归架构
KV 缓存控制
支持末轮 KV 缓存,使缓存占用不随循环次数成倍增加
较长上下文上限
模型卡标称最多支持 256K token
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 4 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 当前 GGUF 来源仅列出 Q5_K_M,选择这一量化文件即可
- BF16、MXFP8、NVFP4 是模型卡列出的其他格式,不等于本仓库另有对应 GGUF 文件
- 模型卡评测基于 BF16,评估 Q5_K_M 时应按 GGUF 文件另行验证
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q5_K_M | 3.4 GB | 4 GB | 5 GB | 8 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 4GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 5GB。
阅读 8GB 显存选型指南 →可以怎样运行
- llama.cpp:使用正式版中已合入的 Dory 支持,或按模型卡指定源码修订版构建
- 本地 API:通过 llama.cpp 启动本地服务并使用兼容接口,模型别名设为 dory
- Ollama 与 LM Studio:仓库标签标记兼容,但模型卡未说明 Dory 专项启动与参数配置
采用前要知道的限制
- 官方支持语言为英语,模型卡未说明中文能力
- GGUF 文件评测未提供,不能直接沿用模型卡中的 BF16 分数
- Dory 支持尚未进入常规 llama.cpp 发布版本时,需要自行构建指定源码
- 使用受 OpenMDW-1.1 许可约束,来源元数据将许可证标记为 other,部署前需自行审阅条款