NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF：本地可跑的多模态智能体大模型

模型能力：Nemotron 3.5 Bolt 74B-A9B 是 NVIDIA 推出的视觉语言模型，为本地运行日常智能体任务设计，采用 Mamba2-Transformer 混合 MoE 架构，激活参数 9B，256K 长上下文，配备 C-RADIO v4-H 视觉编码器支持图像与视频理解。模型卡未提供各量化档位下的推理速度对比数据。 量化仓库：本仓库由 unsloth 提供 GGUF 量化版本。原始 BF16 版更面向二次训练与后训练，而非直接生产推理；用户需按硬件预算挑选 IQ2、Q3、Q4、Q5 等档位，本仓库覆盖从 IQ1 到 Q8_0 全谱。 运行工具：GGUF 文件可被 Ollama、llama.cpp 与 LM Studio 加载。

显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。

按当前最小量化文件估算，至少需要 1.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2.5GB。