← 返回模型库

unsloth/Muse-Glimmer-30B-GGUF

Muse-Glimmer-30B-GGUF:本地部署的多模态智能体模型

Muse-Glimmer-30B 是 Meta 推出的 30B 参数多模态语言模型,专为本地智能体任务设计,集成多步推理、工具调用、失败恢复和图文理解能力。通过 4-bit 量化可压缩到 24–32GB 显存运行,适合需要在本地搭建自主代理、代码助手或多模态应用的研究者和开发者,使用门槛中等偏高。

本地智能体多模态推理工具调用代码助手
查看模型源页面 ↗
近30天源站下载量
58.4万
参数
30B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

本条目对应 Unsloth 发布的 GGUF 量化仓库 Muse-Glimmer-30B-GGUF,底座是 Meta Superintelligence Labs 的 Muse-Glimmer-30B 模型(Apache 2.0)。模型能力来源于其 30B 参数 Dense Causal Transformer 加 1.8B 参数 ViT-G/14 感知编码器,支持 131,072 上下文、文本与图像输入、可靠工具调用与失败恢复。GGUF 仓库负责分发 IQ2 到 Q8 多档量化版本以及 DFlash 推测解码伴侣模型。运行层可选 Ollama、llama.cpp 或 LM Studio 等 GGUF 兼容工具。

更适合谁

  • 想要在本地部署 AI 智能体的开发者
  • 需要多模态输入与工具调用能力的研究员
  • 拥有 24–32GB 显存的消费级硬件用户

典型使用场景

  • 本地自主智能体与多步任务执行
  • 代码编写、调试与 SWE-Bench 类工程流
  • 截图、图表、文档的图文理解与推理
  • 多轮工具与函数调用工作流

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

端到端智能体任务完成

模型卡显示面向 DeepSearch QA、MCP-Atlas、τ3-Bench、SWE-Bench 等端到端任务训练

可靠工具调用与失败恢复

支持精确 schema 的函数调用,并在出错时诊断重试

多模态输入与推理

通过 1.8B 参数 ViT 编码器理解截图、图表和文档

长上下文多步推理

131,072 上下文窗口,可跨长链路维持连贯规划

本地部署友好

4-bit 量化可压缩到 24–32GB 显存运行,并提供 DFlash 推测解码

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 2 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 模型卡推荐 4-bit K-Quant 变体以适配 24–32GB 显存,模型卡称其相对全精度质量下降极小
  • IQ2/Q2 仅在硬件极度受限且可接受质量下降时考虑
  • Q5 或 BF16 更适合需要接近全精度表现的微调与研究场景
  • Q6/Q8 主要面向 64GB 显存以上的高端工作站或完整精度需求

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
GGUF1.5 GB2 GB3 GB8 GB下载文件 ↗
IQ2_XXS10 GB11 GB13 GB15.5 GB下载文件 ↗
IQ2_XS11 GB12 GB14 GB16.5 GB下载文件 ↗
IQ2_M11 GB12.5 GB14.5 GB17.5 GB下载文件 ↗
Q2_K_XL12 GB13 GB15 GB17.5 GB下载文件 ↗
IQ3_XXS12 GB13.5 GB15.5 GB18.5 GB下载文件 ↗
Q3_K_XL12 GB13.5 GB15.5 GB19 GB下载文件 ↗
IQ3_M13 GB14.5 GB16.5 GB20 GB下载文件 ↗
Q4_K_XL15 GB16 GB18.5 GB22.5 GB下载文件 ↗
Q5_K_M18 GB19.5 GB22.5 GB27 GB下载文件 ↗
Q5_K_L18 GB20 GB23 GB28 GB下载文件 ↗
Q5_K_XL20 GB22 GB25.5 GB30.5 GB下载文件 ↗
Q6_K_XL24 GB26.5 GB30.5 GB37 GB下载文件 ↗
Q8_028 GB30 GB34.5 GB41.5 GB下载文件 ↗
Q8_K_XL30 GB32.5 GB37.5 GB45.5 GB下载文件 ↗
BF16需全部分卷52 GB56.5 GB64.5 GB78 GB查看文件组 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 2GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 3GB。

阅读 4GB 显存选型指南 →

可以怎样运行

  • Ollama 支持 GGUF 一键加载运行
  • llama.cpp 可用于命令行或本地服务器模式
  • LM Studio 提供图形界面加载 GGUF
  • 配合 DFlash drafter 可启用推测解码以加速生成

采用前要知道的限制

  • 多步推理在训练数据未充分覆盖的新场景中仍可能出错
  • 视频输入按帧处理,未针对视频单独优化
  • 量化版本在边缘案例中可能与全精度存在微小质量差异
  • 未对预训练全部语言做评估,非主推语言性能可能下降