← 返回模型库

unsloth/Muse-Spark-Open-816B-A42B-GGUF

Muse-Spark-Open-816B-A42B-GGUF:816B 多模态智能体推理大模型

Muse Spark Open 是 816B 总参数、42B 激活参数的 MoE 多模态大模型,定位为智能体任务、代码编写与长链推理。GGUF 仓库面向本地部署,最低 IQ1 量化约需 119GB 内存与 103GB 显存,即便压缩后的 Q4_K_XL 也需约 475GB 内存与 410.

多模态大模型智能体与工具调用超长上下文代码与软件工程
查看模型源页面 ↗
近30天源站下载量
1万
参数
816B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other

MODEL POSITIONING

这个模型解决什么问题?

模型能力来自官方模型卡:Muse Spark Open 由 Meta Superintelligence Labs 发布,是原生多模态 MoE Transformer,支持文本、图像、视频、音频输入,输出文本,1M 上下文窗口,训练数据涵盖 100 多种语言,主打多步推理、端到端智能体任务、编码智能体、工具调用、多模态推理与合成数据生成。量化仓库由 unsloth 提供,发布多种 GGUF 量化档位,文件体积从约 102GB 到约 816GB 不等,最低 IQ1 量化需求已超过单台消费级显卡能力。运行工具层面支持 llama.

更适合谁

  • 拥有多卡 H100/MI300 或双 M5 Ultra 工作站的 AI 研究与基础设施团队
  • 需要 1M 长上下文智能体与多模态理解的企业研发部门
  • 评估开源前沿大模型用于编码与工具调用场景的工程团队
  • 已具备 Linux 大模型部署经验并愿意承担超大规模运维成本的机构

典型使用场景

  • 端到端智能体任务规划与多步工具调用工作流
  • 真实软件工程场景的代码编写、调试与多轮修复
  • 屏幕截图、文档、图表、视频与音频的多模态理解与推理
  • 长链条合成数据生成与作为 LLM 评审器评估其他模型输出

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

原生多模态输入

支持文本、图像、视频、音频统一处理,面向信息丰富的智能体环境

超长上下文窗口

1M token 上下文,便于跨长流程维持连贯规划与多轮工具调用

MoE 高效激活架构

816B 总参数与 42B 激活参数兼顾容量与推理效率

智能体与编码任务导向

模型卡明确面向多步规划、工具调用、代码编写与调试

多语言覆盖

训练数据覆盖 100 多种语言,支持跨语言任务

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 177 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 优先选择 Unsloth Dynamic 量化版本以获得更好的体积与质量平衡
  • IQ1 仅在极致压缩需求下尝试,质量损失可能较大,模型卡未给出具体建议
  • IQ2_S 与 Q2_K_XL 文件大小相当但参数分布不同,可按部署工具兼容性选择
  • 模型卡明确指出量化推理在边缘场景可能与全精度存在细微质量差异

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_S需全部分卷164 GB177 GB202 GB245.5 GB查看文件组 ↗
IQ1_M需全部分卷195 GB210.5 GB240 GB292 GB查看文件组 ↗
IQ2_XXS需全部分卷210 GB227 GB259 GB315.5 GB查看文件组 ↗
IQ2_S需全部分卷257 GB277.5 GB316 GB385 GB查看文件组 ↗
Q2_K_XL需全部分卷290 GB313.5 GB357 GB435 GB查看文件组 ↗
IQ3_XXS需全部分卷317 GB342.5 GB390.5 GB475.5 GB查看文件组 ↗
Q3_K_XL需全部分卷374 GB404 GB460.5 GB561 GB查看文件组 ↗
Q4_K_XL需全部分卷471 GB508.5 GB579.5 GB706.5 GB查看文件组 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 177GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 202GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • 通过 llama.cpp 直接加载 GGUF 文件进行本地推理
  • 在 LM Studio 中导入 GGUF 文件运行
  • 在 Ollama 中导入 GGUF 文件运行
  • 官方推荐框架 SGLang、vLLM、Hugging Face Transformers、TensorRT-LLM、Unsloth 与 Llama.cpp 用于官方权重部署

采用前要知道的限制

  • 模型卡提示模型可能产生不准确、有偏或不恰当的回答
  • 多步推理在训练数据未充分覆盖的新颖场景下仍可能出错
  • 并非所有预训练语言都被评估,低资源语言质量可能下降
  • 模型卡指出短时长或低分辨率视频(约 100px)可能被模型拒绝解读,建议 448px 以上