近30天源站下载量
11万
参数
74B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
该模型本体是基于Nemotron 3.5 Super VL 120B压缩而来的Mamba-2与Transformer混合MoE视觉语言模型，总参数74B、单次激活9B，原生2-bit量化感知训练使其能在24GB显存内运行；当前仓库提供的是经过2-bit IQ2-XXS二次量化的GGUF变体，文件体积约46.25GB，需在llama.cpp生态中通过RTX Spark或RTX 40/50系列显卡部署。模型能力侧重本地智能体任务，包括工具调用、网页浏览与终端操作，覆盖英、法、德、意、西、日、汉等十种语言与图像、视频理解；模型卡未说明其与传统BF16版本在长文本推理速度或中文OCR精度上的具体差异。
更适合谁
- 拥有NVIDIA RTX 40/50系列或RTX Spark显卡、需要在本地搭建智能体工作流的开发者
- 希望评估开源视觉语言模型在工具调用与网页浏览场景落地效果的AI应用工程师
- 想用单张高端显卡在本地跑多模态智能体并兼顾其他任务的研究与极客用户
典型使用场景
- 本地智能体工具调用、多轮对话与函数编排
- 屏幕截图、网页页面与视频内容理解
- 终端命令执行与代码相关问答
- 多语言文档、图表与图像的问答与摘要
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
视觉+语言多模态输入
支持文本、图像与视频输入，搭配C-RADIO v4-H视觉编码器
超长上下文
原生支持最高256K tokens，适合长文档与多轮智能体任务
稀疏激活MoE架构
总参数74B、单次激活9B，可在24GB显存内运行
多语言覆盖
支持英、法、德、意、西、日、韩、印地、巴西葡语与中文等十种语言
工具调用与推理
支持工具调用、JSON结构化输出与可关闭的链式推理开关
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 22.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 当前仓库提供的GGUF为原生2-bit IQ2-XXS量化变体，所有专家被量化到约2.0625 bit
- 嵌入层与输出层保留Q8_0精度，Mamba层使用NVFP4以平衡体积与精度
- 选择时应先确认是否拥有48GB+显存，否则低比特可能导致长上下文受限
- 模型卡未说明是否提供更高比特（如Q4/Q8）的GGUF替代版本
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| GGUF | 21 GB | 22.5 GB | 26 GB | 31 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 22.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 26GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用最新版llama.cpp在RTX Spark或RTX 40/50系列显卡上部署，可搭配DFlash独立GGUF drafter做推测解码
- 启动llama-server暴露OpenAI兼容API，便于接入既有智能体框架
- 可通过Ollama或LM Studio加载该GGUF文件以获得图形化界面与一键运行
- 通过聊天模板中的enable_thinking开关控制是否启用链式推理输出
采用前要知道的限制
- 仅支持NVIDIA Ada Lovelace与Blackwell系列GPU，不兼容其他厂商或老一代NVIDIA架构
- 24GB的目标显存与实际约47GB起步显存需求之间存在落差，消费级硬件门槛较高
- 2-bit IQ2量化在长尾任务、中文OCR等场景的精度损失模型卡未给出具体对比
- 当前GGUF仓库为单一原生2-bit变体，更高精度量化版本模型卡未说明