近30天源站下载量
92万
参数
9B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
未声明
MODEL POSITIONING
这个模型解决什么问题?
本档案基于 bartowski 仓库与基础模型元数据归纳。模型本体是小米 MiMo 基于 Qwen 蒸馏的 9B 模型 MiMo-V2.6-Distill-Qwen-9B,标签显示其面向 agentic、工具调用、代码、监督微调与图像-文本输入能力;上下文长度、对话风格和性能基线模型卡未说明。仓库本身是 bartowski 用 llama.cpp imatrix 制作的 GGUF 量化与 imatrix 校准数据,KLD 数据仅用于衡量该仓库量化布局相对标准布局的差异,不构成对原模型能力的评测。运行侧支持 Ollama、llama.cpp、LM Studio 等本地工具,硬件估算仅基于 GGUF 文件大小。
更适合谁
- 想在本地部署 Agent 与工具调用工作流的开发者
- 寻找 9B 级代码生成与监督微调模型的用户
- 显存或内存受限但希望尝试多模态输入的爱好者
典型使用场景
- 本地 Agent 流程与工具调用实验
- 9B 级别的代码生成与编程辅助
- 配合 mmproj 进行图文输入推理
- 在低显存设备上尝试代理类模型
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
9B 参数蒸馏
基于 Qwen 蒸馏的 9B 模型,标签体现监督微调过程
代理与工具调用
标签标注 agentic 与 tool-use,定位为 Agent 任务底座
代码任务
标签包含 code,具体代码基准模型卡未给出
图像文本输入
流水线标签为 image-text-to-text,仓库附带 mmproj f16 文件
量化覆盖完整
提供从 IQ2 到 Q8 的 GGUF 量化及 imatrix 校准数据
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 4 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 一般用户推荐 K-quant 系列如 Q5_K_M 或 Q6_K,平衡质量与体积
- 显存紧张且使用 cuBLAS/rocBLAS 时可优先考虑 IQ 系列
- IQ 系列在 CPU 上通常比同级 K-quant 慢,需自行权衡速度
- 极致低配可用 IQ2_M 或 Q2_K,但模型卡未给出该量化的质量下限
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_M | 3.3 GB | 4 GB | 5 GB | 8 GB | 下载文件 ↗ |
| Q2_K | 3.4 GB | 4 GB | 5 GB | 8 GB | 下载文件 ↗ |
| IQ3_XXS | 3.9 GB | 4.5 GB | 5.5 GB | 8 GB | 下载文件 ↗ |
| Q3_K_S | 4.0 GB | 4.5 GB | 5.5 GB | 8 GB | 下载文件 ↗ |
| IQ3_XS | 4.0 GB | 4.5 GB | 5.5 GB | 8 GB | 下载文件 ↗ |
| Q3_K_M | 4.2 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| Q3_K_L | 4.3 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| IQ3_M | 4.5 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| IQ4_XS | 4.9 GB | 5.5 GB | 6.5 GB | 8 GB | 下载文件 ↗ |
| Q4_0 | 5.1 GB | 6 GB | 7 GB | 8 GB | 下载文件 ↗ |
| Q4_K_S | 5.1 GB | 6 GB | 7 GB | 8 GB | 下载文件 ↗ |
| IQ4_NL | 5.4 GB | 6 GB | 7 GB | 8.5 GB | 下载文件 ↗ |
| Q4_K_M | 5.4 GB | 6 GB | 7 GB | 8.5 GB | 下载文件 ↗ |
| Q4_1 | 5.5 GB | 6 GB | 7 GB | 8.5 GB | 下载文件 ↗ |
| Q4_K_L | 5.8 GB | 6.5 GB | 7.5 GB | 9 GB | 下载文件 ↗ |
| Q5_K_S | 6.0 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 4GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 5GB。
阅读 8GB 显存选型指南 →可以怎样运行
- 通过 Ollama 拉取并本地运行
- 使用 llama.cpp 直接加载 GGUF 文件
- 在 LM Studio 中图形化推理
- 利用仓库 imatrix 与 calibration 文件自定义或重建量化
采用前要知道的限制
- 对话风格、上下文长度、具体基准成绩模型卡未说明
- 9B 蒸馏模型上限未知,复杂任务可能弱于更大尺寸
- KLD 数据仅反映该仓库量化布局质量,不代表原模型表现
- 图像文本能力的实际效果需自行测试,仓库未提供示例