近30天源站下载量
未核验 / 暂无记录
参数
1B
上下文
未说明
架构 / 任务
未分类
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
本仓库是合并后 MiniCPM5-1B 代理工具调用模型的 GGUF 量化仓库；同作者的 Merged-FP16 与 QLoRA 适配器分属其他仓库，提供原始训练形态。模型能力来源于 openbmb 基础 MiniCPM5-1B 在 ToolACE 衍生基准上的微调结果，仓库本身不进行独立训练，仅做 GGUF 转换。运行工具方面，OpenBMB 推荐 SGLang 加 minicpm5 解析器作为官方工具调用方案；llama.cpp、Ollama、LM Studio 提供通用 GGUF 加载；vLLM 对 GGUF 支持到 2026 年 7 月仍属高度实验性，高吞吐场景更建议用合并 safetensors 仓库。模型输出标准 XML 函数块，需配合外部解析、校验、执行循环使用。
更适合谁
- 需要在本地或边缘设备运行 AI 代理的开发者
- 搭建轻量函数调用机器人或自动化工作流的技术用户
- 研究 Agent 工具选择行为的评测者
- 对小模型工具调用一致性感兴趣的爱好者
典型使用场景
- 本地 AI 代理读取工具定义后自动调用 API 或脚本
- 边缘设备上的轻量 Agent 原型与演示
- 函数调用一致性、工具选择行为的研究与基准复现
- 低资源环境下搭建任务自动化机器人
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
极小体积
1B 参数 + Q4_K_M 仅约 688 MB，低端设备可跑
工具调用解析率高
ToolACE 风格评测中 99.33% 生成可解析的 XML 调用块
工具选择准确
92.67% 命中预期工具名，97% 输出当前可用工具名
标准 XML 函数块格式
原生输出方便与外部运行时对接
量化梯度丰富
F16、Q8_0、Q4_K_M 三档可选，平衡保真度与体积
按当前权重估算的硬件准备
- 当前尚无可用量化文件估算
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 日常本地使用首选 Q4_K_M，体积与质量平衡
- 需要更高还原度可选 Q8_0，约 1.15 GB
- F16 仅作参考转换与最佳保真度，不建议常规部署
- 量化文件尚未独立完成 300 例 ToolACE 评测，结果可能与 FP16 源不同
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|
暂无已核验的完整权重文件，请到模型源页面核对。
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 待确认GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 待确认GB。
阅读 8GB 显存选型指南 →可以怎样运行
- llama.cpp 直接加载，最成熟的 GGUF 支持路径
- Ollama 与 LM Studio 提供一键启动体验
- OpenBMB 官方推荐 SGLang 配合 minicpm5 解析器
- vLLM 加载 GGUF 仍属实验性，合并 safetensors 仓库更稳定
采用前要知道的限制
- 模型卡未给出各量化档的速度与质量独立对比
- 自然停止率仅 15%，需借助解析器在首个完成函数块处强制停止
- 仅有 300 例 ToolACE 衍生评测，未覆盖多轮与未见工具
- vLLM 对 GGUF 支持到 2026 年 7 月仍标记高度实验性