近30天源站下载量
3.9万
参数
36B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型能力来自基础模型 IFM/K2-Horizon-MoVA-36B-A4B：采用 MoE 与 MoVA 注意力，36B 参数中每 token 仅激活 4B，官方称在智能体工具调用、终端编程、科学推理等基准上优于约30B开源稠密模型。GGUF 仓库目前只发布 BF16 量化版本，需约23GB显存或26.5GB内存。运行需使用支持 K2 Horizon 架构的 llama.cpp（如 MBZUAI-IFM 分支），官方推荐 SGLang 与 vLLM 服务方案，Ollama 与 LM Studio 虽在标签中列出但需自行确认兼容性。
更适合谁
- 需要前沿级开源推理与智能体能力的研究与工程团队
- 拥有23GB以上显存或充足内存的本地部署者
- 能接受 BF16 大文件并配置定制 llama.cpp 的实验性用户
典型使用场景
- 智能体工具调用与终端编程任务
- 长文档理解与多轮对话场景
- 科研推理与事实问答应用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
稀疏激活
总参数36B，每 token 仅激活4B，兼顾规模与单次推理成本
长上下文
原生 524,288 token 上下文，适合长文档与多轮任务
推理与工具调用
在 tau3-Banking、Terminal-Bench 等智能体基准上表现突出
代码与科学
Terminal-Bench 2.1 与 SciCode 表现与更大模型相当
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 22.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 仓库目前仅提供 BF16 版本，文件约22.5GB
- 模型卡未提供 Q4、Q5、Q8 等更小量化选项
- 下载前需确认运行工具支持 K2 Horizon 架构
- BF16 对显存与内存要求较高，不适合低配设备
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 22.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 26GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用支持 K2 Horizon 架构的 llama.cpp（如 MBZUAI-IFM 分支）
- 官方推荐 SGLang 服务方案，已在 2×H200 上验证
- 官方提供 vLLM 部署配方
- Ollama 与 LM Studio 在标签中列出，需自行验证兼容性
采用前要知道的限制
- GGUF 仓库仅提供 BF16 一种量化，体积与显存门槛高
- llama.cpp 对 K2 Horizon 的支持仍为 PR 进行中，需使用定制分支
- 模型卡未说明量化后的推理速度与吞吐
- 模型卡未提供其他语言能力数据，仅列出英语