← 返回模型库

openbmb/MiniCPM-V-4.7-35B-A3B-gguf

MiniCPM-V-4.7-35B-A3B-gguf:端侧多模态视觉语言量化版

MiniCPM-V-4.7-35B-A3B 的 GGUF 量化版本,是 MiniCPM-V 系列首个 MoE 多模态模型,支持单图、多图、视频理解、OCR、PDF 解析与视觉定位等任务。35B 总参数仅激活约 3B,结合前瞻专家调度与细粒度分层量化,主打端侧流畅推理。

多模态视觉问答端侧部署
查看模型源页面 ↗
近30天源站下载量
21.9万
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

MiniCPM-V-4.7-35B-A3B 是 openbmb 推出的端侧多模态大语言模型,采用 MoE 架构,总参数 35B、单 token 激活约 3B,支持图文问答、视频理解、OCR、PDF 解析和视觉定位。本仓库是该模型在 llama.cpp 生态下的 GGUF 量化仓库,提供 IQ3、IQ4、Q4、Q5、Q6、Q8 及 F16 等多个量化档位,文件可直接被 llama.cpp、Ollama 与 LM Studio 加载运行。模型卡未提供完整上下文长度与训练数据细节。

更适合谁

  • 希望本地或端侧部署视觉语言模型的开发者
  • 拥有 16GB 以上显存或 24GB 以上内存的工作站用户
  • 研究端侧 MoE 推理与多模态量化的技术人员
  • 需要图文问答、视频理解、文档解析的应用集成者

典型使用场景

  • 单图与多图对话、视觉问答
  • 视频内容理解与时序问答
  • OCR 文字识别与 PDF 文档解析
  • 视觉定位与目标指代交互

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

端侧 MoE 推理

通过前瞻专家调度与分层量化,在受限内存设备上实现流畅解码

多模态理解能力

支持单图、多图、视频、OCR、PDF 解析和视觉定位任务

量化与平台覆盖

提供 GGUF、BNB、AWQ、GPTQ、FP8 等多种量化方案,并适配 iOS、Android、HarmonyOS

框架兼容性

可通过 llama.cpp、Ollama、vLLM、SGLang、Transformers 等框架推理

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 1 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 显存紧张追求速度可优先选 IQ3_M 或 mix_q3gud_im 量化
  • 想兼顾质量与资源占用可选 IQ4_NL 或 Q4_0 量化
  • 显存充足且希望效果更好可选 Q5_0 或 Q6_K
  • 显存充裕且追求最高保真度可选 F16 或 Q8_0

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
F160.7 GB1 GB2 GB8 GB下载文件 ↗
IQ3_XS13 GB15 GB17.5 GB20.5 GB下载文件 ↗
IQ3_M14 GB16 GB18.5 GB22 GB下载文件 ↗
GGUF14 GB16 GB18.5 GB22 GB下载文件 ↗
IQ4_XS17 GB19 GB22 GB26.5 GB下载文件 ↗
Q4_018 GB20 GB23 GB28 GB下载文件 ↗
IQ4_NL18 GB20 GB23 GB28 GB下载文件 ↗
Q4_K_S19 GB20.5 GB23.5 GB28 GB下载文件 ↗
Q4_K_M20 GB21.5 GB24.5 GB30 GB下载文件 ↗
Q4_120 GB22 GB25.5 GB31 GB下载文件 ↗
Q5_022 GB24.5 GB28 GB34 GB下载文件 ↗
Q5_K_S22 GB24.5 GB28 GB34 GB下载文件 ↗
Q5_K_M23 GB25 GB28.5 GB35 GB下载文件 ↗
Q5_124 GB26.5 GB30.5 GB36.5 GB下载文件 ↗
Q6_K27 GB29 GB33 GB40 GB下载文件 ↗
Q8_034 GB37.5 GB43 GB52 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 1GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 2GB。

阅读 4GB 显存选型指南 →

可以怎样运行

  • llama.cpp 直接加载 GGUF 文件进行本地推理
  • Ollama 拉取并启动模型服务
  • LM Studio 加载本地 GGUF 权重进行图形化推理
  • Transformers、vLLM、SGLang 等框架调用原始 BF16 或 FP8 权重

采用前要知道的限制

  • 模型卡未明确公布上下文长度上限
  • 模型卡未提供完整基准测试数据
  • 使用 Transformers 推理时需注意 torchcodec 与 CUDA 版本兼容问题,建议改用 PyAV
  • 模型卡未说明对小语种或多语言场景的支持程度