近30天源站下载量
18.8万
参数
12B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
本仓库是 Mellum2.1-12B-A2.5B-Thinking 的官方 GGUF 量化发布，不是原始模型卡：原模型的训练目标、数据与基准以官方 JetBrains 模型卡为准，本仓库未复述。模型本体为混合专家架构，64 个专家每次激活 8 个，属于思考推理模型，会在 think 块中输出内部推理后再给出最终答案。仓库内提供 BF16、Q8_0、Q6_K、Q4_K_M、MXFP4_MOE 五种变体，Q4_K_M 在表中标注为推荐平衡档。运行端面向 llama.cpp、Ollama、LM Studio 等 GGUF 兼容工具，硬件门槛随量化档位变化。
更适合谁
- 想在本地体验 12B 级 MoE 思维链模型的用户
- 需要可解释推理过程的代码与逻辑任务使用者
- 显存 8GB–16GB 的消费级 GPU 或 Apple Silicon 用户
- 已熟悉 GGUF 生态并希望多档位切换的研究者
典型使用场景
- 代码补全、阅读与重构等编程推理任务
- 长文档摘要、问答与多跳推理
- 需要展示思考过程的科研或教学演示
- 本地离线推理服务与私有部署
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
混合专家推理
64 专家每次激活 8 个，兼顾 12B 容量与 2.5B 激活开销
思维链可见输出
在 think 块中显式展示内部推理，便于审查与后处理
超长上下文窗口
支持 131,072 token，可处理长代码库与长文档
多档 GGUF 量化
提供 Q4_K_M、Q6_K、Q8_0、BF16、MXFP4_MOE 五种档位
Apache-2.0 开源协议
允许商用与再分发
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 7.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 想要质量与体积平衡，选择仓库标注推荐的 Q4_K_M 档
- 想要接近无损体验，Q8_0 在仓库表中 KLD 0.008、Top-token 匹配 96.1%
- 想要极限省空间，MXFP4_MOE 是仓库列示体积最小的 MoE 4-bit 档
- Q6_K 适合折中需求；高显存设备才考虑 BF16 16-bit 参考档
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 7.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 8.5GB。
阅读 12GB 显存选型指南 →可以怎样运行
- llama.cpp 命令行与兼容 OpenAI 接口的 server
- Ollama 拉取并本地运行
- LM Studio 图形界面加载 GGUF
- 其他支持 GGUF 格式的推理引擎
采用前要知道的限制
- 本仓库仅提供量化与运行信息，原模型能力、训练数据与基准以官方模型卡为准（模型卡未说明）
- 仓库 language 标签仅列 en，中文表现未在仓库说明
- 思考推理模型的 think 块会增加单次响应长度
- 高档位变体对显存要求较高，低配设备无法加载