近30天源站下载量
7万
参数
1B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
MiniCPM-V-4.7-1B-gguf 是 openbmb 发布的 MiniCPM-V 4.7 系列 1B 多模态模型的 GGUF 量化仓库,原始基座模型另提供 BF16、INT4、AWQ、GPTQ、FP8 等精度权重。本仓库专门承载 llama.cpp 兼容的 GGUF 格式量化文件,并配套发布 DSpark 投机解码草稿模型(BF16 与 GGUF)。官方推荐推理框架包括 llama.cpp、Ollama、SGLang、vLLM 与 OpenVINO,部署覆盖 iOS、Android、HarmonyOS 及 Rockchip、Houmo、Intel、AMD、Arm 芯片。模型卡未给出绝对速度与质量跑分排名。
更适合谁
- 资源受限设备上需要本地视觉理解的开发者
- 想在手机、平板或低显存 PC 跑多模态的玩家
- 关注数据隐私、希望离线处理图片与视频的用户
- 需要快速验证多模态原型并便于二次微调的团队
典型使用场景
- 手机或平板本地图片问答
- 视频内容理解与摘要
- 文档与截图 OCR、PDF 解析
- 多张图片对比或关系问答
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
端侧多模态覆盖
单图、多图、视频、OCR、PDF 解析与视觉定位
高能效架构
基于 ViT 内早压缩与混合 4x/16x 视觉 token 压缩
跨平台部署
支持 iOS、Android、HarmonyOS 与多家芯片平台
生态成熟
兼容 llama.cpp、Ollama、SGLang、vLLM、OpenVINO
投机解码加速
配套 DSpark 草稿模型可降低推理时延
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 1 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 追求极致小体积可选 IQ3_M(375MB),质量模型卡未说明
- 平衡体积与质量推荐 IQ4_NL 或 Q4_0(均约 500MB)
- 需要较高回复质量建议 Q6_K(约 750MB)或 Q8_0(约 1GB)
- 需要 BF16 或 INT4 权重需回到基座仓库下载
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| F16 | 0.4 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ3_XS | 0.5 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ3_M | 0.5 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ4_XS | 0.6 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q4_0 | 0.6 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q4_K_S | 0.6 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ4_NL | 0.6 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q4_K_M | 0.6 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q4_1 | 0.6 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q5_K_S | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q5_0 | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q5_K_M | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q5_1 | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q6_K | 0.8 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| Q8_0 | 1.0 GB | 1.5 GB | 2.5 GB | 8 GB | 下载文件 ↗ |
| F16 | 1.9 GB | 2.5 GB | 3.5 GB | 8 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 1GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 2GB。
阅读 4GB 显存选型指南 →可以怎样运行
- llama.cpp 本地命令行推理
- Ollama 一键拉取与运行
- LM Studio 图形界面加载
- 配合 DSpark 草稿模型做投机解码加速
采用前要知道的限制
- 模型卡未提供绝对速度与质量跑分数据
- IQ3/IQ4 等低比特量化可能存在质量损失,具体程度未说明
- 显存 1GB 以下显卡需依赖 CPU 卸载,速度模型卡未承诺
- CUDA 12.x 环境使用 torchcodec 视频解码可能出现兼容报错