← 返回模型库

openbmb/MiniCPM-V-4.7-1B-gguf

MiniCPM-V-4.7-1B-gguf:手机平板也能跑的多模态小模型

MiniCPM-V-4.7-1B-gguf 是面向端侧部署的轻量级多模态模型 GGUF 量化版,基于 1B 参数的 MiniCPM-V 4.7,支持单图、多图、视频理解、OCR、PDF 解析与视觉定位。可在 iOS、Android、HarmonyOS 与多家芯片平台本地推理。

端侧多模态视觉问答视频理解轻量模型
查看模型源页面 ↗
近30天源站下载量
7万
参数
1B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

MiniCPM-V-4.7-1B-gguf 是 openbmb 发布的 MiniCPM-V 4.7 系列 1B 多模态模型的 GGUF 量化仓库,原始基座模型另提供 BF16、INT4、AWQ、GPTQ、FP8 等精度权重。本仓库专门承载 llama.cpp 兼容的 GGUF 格式量化文件,并配套发布 DSpark 投机解码草稿模型(BF16 与 GGUF)。官方推荐推理框架包括 llama.cpp、Ollama、SGLang、vLLM 与 OpenVINO,部署覆盖 iOS、Android、HarmonyOS 及 Rockchip、Houmo、Intel、AMD、Arm 芯片。模型卡未给出绝对速度与质量跑分排名。

更适合谁

  • 资源受限设备上需要本地视觉理解的开发者
  • 想在手机、平板或低显存 PC 跑多模态的玩家
  • 关注数据隐私、希望离线处理图片与视频的用户
  • 需要快速验证多模态原型并便于二次微调的团队

典型使用场景

  • 手机或平板本地图片问答
  • 视频内容理解与摘要
  • 文档与截图 OCR、PDF 解析
  • 多张图片对比或关系问答

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

端侧多模态覆盖

单图、多图、视频、OCR、PDF 解析与视觉定位

高能效架构

基于 ViT 内早压缩与混合 4x/16x 视觉 token 压缩

跨平台部署

支持 iOS、Android、HarmonyOS 与多家芯片平台

生态成熟

兼容 llama.cpp、Ollama、SGLang、vLLM、OpenVINO

投机解码加速

配套 DSpark 草稿模型可降低推理时延

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 1 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 追求极致小体积可选 IQ3_M(375MB),质量模型卡未说明
  • 平衡体积与质量推荐 IQ4_NL 或 Q4_0(均约 500MB)
  • 需要较高回复质量建议 Q6_K(约 750MB)或 Q8_0(约 1GB)
  • 需要 BF16 或 INT4 权重需回到基座仓库下载

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
F160.4 GB1 GB2 GB8 GB下载文件 ↗
IQ3_XS0.5 GB1 GB2 GB8 GB下载文件 ↗
IQ3_M0.5 GB1 GB2 GB8 GB下载文件 ↗
IQ4_XS0.6 GB1 GB2 GB8 GB下载文件 ↗
Q4_00.6 GB1 GB2 GB8 GB下载文件 ↗
Q4_K_S0.6 GB1 GB2 GB8 GB下载文件 ↗
IQ4_NL0.6 GB1 GB2 GB8 GB下载文件 ↗
Q4_K_M0.6 GB1 GB2 GB8 GB下载文件 ↗
Q4_10.6 GB1 GB2 GB8 GB下载文件 ↗
Q5_K_S0.7 GB1 GB2 GB8 GB下载文件 ↗
Q5_00.7 GB1 GB2 GB8 GB下载文件 ↗
Q5_K_M0.7 GB1 GB2 GB8 GB下载文件 ↗
Q5_10.7 GB1 GB2 GB8 GB下载文件 ↗
Q6_K0.8 GB1 GB2 GB8 GB下载文件 ↗
Q8_01.0 GB1.5 GB2.5 GB8 GB下载文件 ↗
F161.9 GB2.5 GB3.5 GB8 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 1GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 2GB。

阅读 4GB 显存选型指南 →

可以怎样运行

  • llama.cpp 本地命令行推理
  • Ollama 一键拉取与运行
  • LM Studio 图形界面加载
  • 配合 DSpark 草稿模型做投机解码加速

采用前要知道的限制

  • 模型卡未提供绝对速度与质量跑分数据
  • IQ3/IQ4 等低比特量化可能存在质量损失,具体程度未说明
  • 显存 1GB 以下显卡需依赖 CPU 卸载,速度模型卡未承诺
  • CUDA 12.x 环境使用 torchcodec 视频解码可能出现兼容报错