近30天源站下载量
28.2万
参数
未知
上下文
未说明
架构 / 任务
text-generation
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
模型能力方面，该模型由 NVIDIA 基于 Gemma-4-E4B-it 后训练，重点面向多轮工具调用、指令遵循、输入落地和交互式代理，支持可开关的思考模式、对话模式及 64K 上下文。GGUF 仓库提供多档量化文件和配套 DFlash 草稿模型；运行工具标注支持 Ollama、llama.cpp 和 LM Studio。模型卡未说明各量化之间的质量排序、实际生成速度或中文专项表现。
更适合谁
- 需要在本地构建语音助手或设备助手的开发者
- 需要多轮工具调用和交互代理的原型开发者
- 资源受限的边缘设备或嵌入式应用团队
典型使用场景
- 本地语音助手和语音交互应用
- 设备端聊天代理与工具调用工作流
- 交互式角色扮演和人物助手
- 边缘或嵌入式文本生成接口
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
多轮工具调用
强化连续对话中的工具选择、调用与结果衔接
指令与输入落地
强调遵循明确指令、约束输出并基于输入作答
双模式交互
支持思考开关、运行时思考预算和简洁对话模式
长上下文
输入与输出上下文均标称最高可达 64K tokens
多语言支持
模型卡列出中文、英语、日语、西班牙语等语言
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 1 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 极低资源设备可优先考察 IQ2_M、IQ3_XXS 或 Q2_K_XL，以减少文件体积和内存占用
- 常规本地部署可选择 Q4_K_XL，其资料建议配置为 8GB 内存、6.5GB 显存
- 偏好更高比特时可选 Q5_K_XL、Q6_K_XL 或 Q8_K_XL，同时相应增加内存与显存预算
- dflash-NVIDIA-Nemotron-3.5-Bolt-E4B-Q8_0.gguf 是配套 DFlash 草稿模型文件，不应视作主模型替代品
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q8_0 | 0.4 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ2_M | 3.3 GB | 4 GB | 5 GB | 8 GB | 下载文件 ↗ |
| IQ3_XXS | 3.4 GB | 4 GB | 5 GB | 8 GB | 下载文件 ↗ |
| Q2_K_XL | 3.5 GB | 4 GB | 5 GB | 8 GB | 下载文件 ↗ |
| Q3_K_XL | 3.9 GB | 4.5 GB | 5.5 GB | 8 GB | 下载文件 ↗ |
| Q4_K_XL | 4.7 GB | 5.5 GB | 6.5 GB | 8 GB | 下载文件 ↗ |
| Q5_K_XL | 5.4 GB | 6 GB | 7 GB | 8.5 GB | 下载文件 ↗ |
| Q6_K_XL | 6.8 GB | 7.5 GB | 9 GB | 10.5 GB | 下载文件 ↗ |
| Q8_K_XL | 7.6 GB | 8.5 GB | 10 GB | 11.5 GB | 下载文件 ↗ |
| BF16 | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 1GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 可通过 Ollama、llama.cpp 或 LM Studio 使用仓库中的 GGUF 文件
- llama-server 可通过聊天模板开关思考模式，并设置运行时思考预算
- 对话模式可与思考开关和工具调用组合，适合语音或简短交互
- 可选配 DFlash 草稿模型用于推测解码
采用前要知道的限制
- 异步工具调用不接受不紧跟 assistant tool_calls 的零散 tool 消息，需要按模型卡规定处理待定结果
- 限制思考预算可能截断思考过程，部署前需要按实际提示集测试参数
- 模型卡要求应用方针对自身数据和系统流程完成安全、效果及合规验证
- 权重采用 OpenMDW-1.1，并涉及 Gemma 4 的 Apache 2.0 条款，使用前需核对许可范围