← 返回模型库

bartowski/MiMo-V2.6-Distill-Qwen-9B-GGUF

MiMo-V2.6-Distill-Qwen-9B-GGUF:9B 蒸馏多模态与代理任务底座

MiMo-V2.6-Distill-Qwen-9B 由小米 MiMo 团队蒸馏自 Qwen,主打 9B 参数级的代理、工具调用与代码任务,并支持图文输入。适合想在本地跑 Agent、调用工具或做代码生成的开发者与爱好者。

9B 蒸馏代理工具调用代码生成图文多模态
查看模型源页面 ↗
近30天源站下载量
92万
参数
9B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
未声明

MODEL POSITIONING

这个模型解决什么问题?

本档案基于 bartowski 仓库与基础模型元数据归纳。模型本体是小米 MiMo 基于 Qwen 蒸馏的 9B 模型 MiMo-V2.6-Distill-Qwen-9B,标签显示其面向 agentic、工具调用、代码、监督微调与图像-文本输入能力;上下文长度、对话风格和性能基线模型卡未说明。仓库本身是 bartowski 用 llama.cpp imatrix 制作的 GGUF 量化与 imatrix 校准数据,KLD 数据仅用于衡量该仓库量化布局相对标准布局的差异,不构成对原模型能力的评测。运行侧支持 Ollama、llama.cpp、LM Studio 等本地工具,硬件估算仅基于 GGUF 文件大小。

更适合谁

  • 想在本地部署 Agent 与工具调用工作流的开发者
  • 寻找 9B 级代码生成与监督微调模型的用户
  • 显存或内存受限但希望尝试多模态输入的爱好者

典型使用场景

  • 本地 Agent 流程与工具调用实验
  • 9B 级别的代码生成与编程辅助
  • 配合 mmproj 进行图文输入推理
  • 在低显存设备上尝试代理类模型

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

9B 参数蒸馏

基于 Qwen 蒸馏的 9B 模型,标签体现监督微调过程

代理与工具调用

标签标注 agentic 与 tool-use,定位为 Agent 任务底座

代码任务

标签包含 code,具体代码基准模型卡未给出

图像文本输入

流水线标签为 image-text-to-text,仓库附带 mmproj f16 文件

量化覆盖完整

提供从 IQ2 到 Q8 的 GGUF 量化及 imatrix 校准数据

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 4 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 一般用户推荐 K-quant 系列如 Q5_K_M 或 Q6_K,平衡质量与体积
  • 显存紧张且使用 cuBLAS/rocBLAS 时可优先考虑 IQ 系列
  • IQ 系列在 CPU 上通常比同级 K-quant 慢,需自行权衡速度
  • 极致低配可用 IQ2_M 或 Q2_K,但模型卡未给出该量化的质量下限

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ2_M3.3 GB4 GB5 GB8 GB下载文件 ↗
Q2_K3.4 GB4 GB5 GB8 GB下载文件 ↗
IQ3_XXS3.9 GB4.5 GB5.5 GB8 GB下载文件 ↗
Q3_K_S4.0 GB4.5 GB5.5 GB8 GB下载文件 ↗
IQ3_XS4.0 GB4.5 GB5.5 GB8 GB下载文件 ↗
Q3_K_M4.2 GB5 GB6 GB8 GB下载文件 ↗
Q3_K_L4.3 GB5 GB6 GB8 GB下载文件 ↗
IQ3_M4.5 GB5 GB6 GB8 GB下载文件 ↗
IQ4_XS4.9 GB5.5 GB6.5 GB8 GB下载文件 ↗
Q4_05.1 GB6 GB7 GB8 GB下载文件 ↗
Q4_K_S5.1 GB6 GB7 GB8 GB下载文件 ↗
IQ4_NL5.4 GB6 GB7 GB8.5 GB下载文件 ↗
Q4_K_M5.4 GB6 GB7 GB8.5 GB下载文件 ↗
Q4_15.5 GB6 GB7 GB8.5 GB下载文件 ↗
Q4_K_L5.8 GB6.5 GB7.5 GB9 GB下载文件 ↗
Q5_K_S6.0 GB7 GB8 GB9.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 4GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 5GB。

阅读 8GB 显存选型指南 →

可以怎样运行

  • 通过 Ollama 拉取并本地运行
  • 使用 llama.cpp 直接加载 GGUF 文件
  • 在 LM Studio 中图形化推理
  • 利用仓库 imatrix 与 calibration 文件自定义或重建量化

采用前要知道的限制

  • 对话风格、上下文长度、具体基准成绩模型卡未说明
  • 9B 蒸馏模型上限未知,复杂任务可能弱于更大尺寸
  • KLD 数据仅反映该仓库量化布局质量,不代表原模型表现
  • 图像文本能力的实际效果需自行测试,仓库未提供示例