近30天源站下载量
21.9万
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
MiniCPM-V-4.7-35B-A3B 是 openbmb 推出的端侧多模态大语言模型,采用 MoE 架构,总参数 35B、单 token 激活约 3B,支持图文问答、视频理解、OCR、PDF 解析和视觉定位。本仓库是该模型在 llama.cpp 生态下的 GGUF 量化仓库,提供 IQ3、IQ4、Q4、Q5、Q6、Q8 及 F16 等多个量化档位,文件可直接被 llama.cpp、Ollama 与 LM Studio 加载运行。模型卡未提供完整上下文长度与训练数据细节。
更适合谁
- 希望本地或端侧部署视觉语言模型的开发者
- 拥有 16GB 以上显存或 24GB 以上内存的工作站用户
- 研究端侧 MoE 推理与多模态量化的技术人员
- 需要图文问答、视频理解、文档解析的应用集成者
典型使用场景
- 单图与多图对话、视觉问答
- 视频内容理解与时序问答
- OCR 文字识别与 PDF 文档解析
- 视觉定位与目标指代交互
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
端侧 MoE 推理
通过前瞻专家调度与分层量化,在受限内存设备上实现流畅解码
多模态理解能力
支持单图、多图、视频、OCR、PDF 解析和视觉定位任务
量化与平台覆盖
提供 GGUF、BNB、AWQ、GPTQ、FP8 等多种量化方案,并适配 iOS、Android、HarmonyOS
框架兼容性
可通过 llama.cpp、Ollama、vLLM、SGLang、Transformers 等框架推理
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 1 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 显存紧张追求速度可优先选 IQ3_M 或 mix_q3gud_im 量化
- 想兼顾质量与资源占用可选 IQ4_NL 或 Q4_0 量化
- 显存充足且希望效果更好可选 Q5_0 或 Q6_K
- 显存充裕且追求最高保真度可选 F16 或 Q8_0
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| F16 | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ3_XS | 13 GB | 15 GB | 17.5 GB | 20.5 GB | 下载文件 ↗ |
| IQ3_M | 14 GB | 16 GB | 18.5 GB | 22 GB | 下载文件 ↗ |
| GGUF | 14 GB | 16 GB | 18.5 GB | 22 GB | 下载文件 ↗ |
| IQ4_XS | 17 GB | 19 GB | 22 GB | 26.5 GB | 下载文件 ↗ |
| Q4_0 | 18 GB | 20 GB | 23 GB | 28 GB | 下载文件 ↗ |
| IQ4_NL | 18 GB | 20 GB | 23 GB | 28 GB | 下载文件 ↗ |
| Q4_K_S | 19 GB | 20.5 GB | 23.5 GB | 28 GB | 下载文件 ↗ |
| Q4_K_M | 20 GB | 21.5 GB | 24.5 GB | 30 GB | 下载文件 ↗ |
| Q4_1 | 20 GB | 22 GB | 25.5 GB | 31 GB | 下载文件 ↗ |
| Q5_0 | 22 GB | 24.5 GB | 28 GB | 34 GB | 下载文件 ↗ |
| Q5_K_S | 22 GB | 24.5 GB | 28 GB | 34 GB | 下载文件 ↗ |
| Q5_K_M | 23 GB | 25 GB | 28.5 GB | 35 GB | 下载文件 ↗ |
| Q5_1 | 24 GB | 26.5 GB | 30.5 GB | 36.5 GB | 下载文件 ↗ |
| Q6_K | 27 GB | 29 GB | 33 GB | 40 GB | 下载文件 ↗ |
| Q8_0 | 34 GB | 37.5 GB | 43 GB | 52 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 1GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 2GB。
阅读 4GB 显存选型指南 →可以怎样运行
- llama.cpp 直接加载 GGUF 文件进行本地推理
- Ollama 拉取并启动模型服务
- LM Studio 加载本地 GGUF 权重进行图形化推理
- Transformers、vLLM、SGLang 等框架调用原始 BF16 或 FP8 权重
采用前要知道的限制
- 模型卡未明确公布上下文长度上限
- 模型卡未提供完整基准测试数据
- 使用 Transformers 推理时需注意 torchcodec 与 CUDA 版本兼容问题,建议改用 PyAV
- 模型卡未说明对小语种或多语言场景的支持程度