近30天源站下载量
58.4万
参数
30B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
本条目对应 Unsloth 发布的 GGUF 量化仓库 Muse-Glimmer-30B-GGUF,底座是 Meta Superintelligence Labs 的 Muse-Glimmer-30B 模型(Apache 2.0)。模型能力来源于其 30B 参数 Dense Causal Transformer 加 1.8B 参数 ViT-G/14 感知编码器,支持 131,072 上下文、文本与图像输入、可靠工具调用与失败恢复。GGUF 仓库负责分发 IQ2 到 Q8 多档量化版本以及 DFlash 推测解码伴侣模型。运行层可选 Ollama、llama.cpp 或 LM Studio 等 GGUF 兼容工具。
更适合谁
- 想要在本地部署 AI 智能体的开发者
- 需要多模态输入与工具调用能力的研究员
- 拥有 24–32GB 显存的消费级硬件用户
典型使用场景
- 本地自主智能体与多步任务执行
- 代码编写、调试与 SWE-Bench 类工程流
- 截图、图表、文档的图文理解与推理
- 多轮工具与函数调用工作流
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
端到端智能体任务完成
模型卡显示面向 DeepSearch QA、MCP-Atlas、τ3-Bench、SWE-Bench 等端到端任务训练
可靠工具调用与失败恢复
支持精确 schema 的函数调用,并在出错时诊断重试
多模态输入与推理
通过 1.8B 参数 ViT 编码器理解截图、图表和文档
长上下文多步推理
131,072 上下文窗口,可跨长链路维持连贯规划
本地部署友好
4-bit 量化可压缩到 24–32GB 显存运行,并提供 DFlash 推测解码
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 2 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 模型卡推荐 4-bit K-Quant 变体以适配 24–32GB 显存,模型卡称其相对全精度质量下降极小
- IQ2/Q2 仅在硬件极度受限且可接受质量下降时考虑
- Q5 或 BF16 更适合需要接近全精度表现的微调与研究场景
- Q6/Q8 主要面向 64GB 显存以上的高端工作站或完整精度需求
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| GGUF | 1.5 GB | 2 GB | 3 GB | 8 GB | 下载文件 ↗ |
| IQ2_XXS | 10 GB | 11 GB | 13 GB | 15.5 GB | 下载文件 ↗ |
| IQ2_XS | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| IQ2_M | 11 GB | 12.5 GB | 14.5 GB | 17.5 GB | 下载文件 ↗ |
| Q2_K_XL | 12 GB | 13 GB | 15 GB | 17.5 GB | 下载文件 ↗ |
| IQ3_XXS | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| Q3_K_XL | 12 GB | 13.5 GB | 15.5 GB | 19 GB | 下载文件 ↗ |
| IQ3_M | 13 GB | 14.5 GB | 16.5 GB | 20 GB | 下载文件 ↗ |
| Q4_K_XL | 15 GB | 16 GB | 18.5 GB | 22.5 GB | 下载文件 ↗ |
| Q5_K_M | 18 GB | 19.5 GB | 22.5 GB | 27 GB | 下载文件 ↗ |
| Q5_K_L | 18 GB | 20 GB | 23 GB | 28 GB | 下载文件 ↗ |
| Q5_K_XL | 20 GB | 22 GB | 25.5 GB | 30.5 GB | 下载文件 ↗ |
| Q6_K_XL | 24 GB | 26.5 GB | 30.5 GB | 37 GB | 下载文件 ↗ |
| Q8_0 | 28 GB | 30 GB | 34.5 GB | 41.5 GB | 下载文件 ↗ |
| Q8_K_XL | 30 GB | 32.5 GB | 37.5 GB | 45.5 GB | 下载文件 ↗ |
| BF16需全部分卷 | 52 GB | 56.5 GB | 64.5 GB | 78 GB | 查看文件组 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 2GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 3GB。
阅读 4GB 显存选型指南 →可以怎样运行
- Ollama 支持 GGUF 一键加载运行
- llama.cpp 可用于命令行或本地服务器模式
- LM Studio 提供图形界面加载 GGUF
- 配合 DFlash drafter 可启用推测解码以加速生成
采用前要知道的限制
- 多步推理在训练数据未充分覆盖的新场景中仍可能出错
- 视频输入按帧处理,未针对视频单独优化
- 量化版本在边缘案例中可能与全精度存在微小质量差异
- 未对预训练全部语言做评估,非主推语言性能可能下降