近30天源站下载量
12.7万
参数
未知
上下文
未说明
架构 / 任务
text-generation
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
该模型是基于 Gemma-4-E4B-it 继续后训练的小型语言模型，总规模为 8B 参数（4B effective），面向本地语音与设备助手、交互角色和嵌入式接口，重点提升多轮工具调用、指令遵循与输入 grounding，并提供思考开关、会话模式及 64K 输入输出上下文。当前仓库提供 Q4_K_M GGUF 量化文件，不是 BF16 原始权重；模型卡称 llama.cpp 配方仍待提供，仓库元数据同时标注 Ollama、llama.cpp 与 LM Studio 可用。部署时应分别评估模型能力、量化精度与运行工具。
更适合谁
- 需要在本地设备运行轻量对话助手或角色型应用的用户
- 面向智能家居、嵌入式设备等低内存场景的应用开发者
- 需要多轮工具调用、严格指令遵循和可控思考模式的智能体开发者
典型使用场景
- 本地语音或文本设备助手
- 交互式角色与固定规则型聊天代理
- 带函数调用、工具调用和结构化输出的嵌入式应用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
设备助手定位
专为本地语音助手、设备助手与嵌入式接口设计，强调低内存部署场景
智能体交互
强化多轮工具调用、指令遵循和输入 grounding，适合工具型交互流程
思考与会话控制
支持通过聊天模板启用或关闭思考，并可设置运行时思考预算
长上下文
模型卡标注输入与输出上下文长度均可达 64K tokens
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 6.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 当前仓库列出的文件为 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf，量化格式为 Q4_K_M
- 模型名中的 4GB 不是该文件的实际下载体积；当前列出的 GGUF 约为 6.18GB
- 如需 BF16 版本，应改用模型卡所指向的独立 BF16 仓库；其资源需求未在当前资料中说明
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q4_K_M | 5.8 GB | 6.5 GB | 7.5 GB | 9 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 6.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 7.5GB。
阅读 8GB 显存选型指南 →可以怎样运行
- llama.cpp：仓库元数据标注兼容，模型卡称部署配方仍待提供
- Ollama：仓库运行兼容性信息标注为支持
- LM Studio：仓库运行兼容性信息标注为支持，可用于加载本地 GGUF
采用前要知道的限制
- 模型仅处理文本输入并生成文本，不包含语音识别、语音合成或音频模型组件
- 中文被列入主要后训练语言，但模型卡未提供中文专项质量评测
- 异步工具调用不能直接接收脱离规定顺序的 tool 消息，需要按模板确认待处理结果
- 部署前仍需使用自身提示词、工具和业务数据完成单元及系统级验证