近30天源站下载量
1.3万
参数
未知
上下文
未说明
架构 / 任务
text-generation
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
基础模型为 zai-org/GLM-5.3；本仓库提供经 NAS 选出的 E192 架构，保留每层 192/256 个路由专家，形成 563B 参数 MoE，并移除 MTP，未重训。仓库提供 Unsloth UD-IQ2_M 的 6 个 GGUF 分片及可重量化用 imatrix，不是 FP8 或原始精度版本。模型卡给出其自测代码与推理结果，但未与原版在同框架比较，不能据此判断专家裁减损失。运行层支持 llama.cpp；资料还标注 Ollama、LM Studio，Mac 路线使用 mlx-serve，具体导入步骤模型卡未说明。
更适合谁
- 拥有单张 NVIDIA B200、需要本地部署大型 MoE 模型的高级用户
- 配备至少 192GB 统一内存 Mac Studio 的本地推理用户
- 需要中英文对话、代码生成或高难推理，并能接受超低比特量化的用户
典型使用场景
- 中文或英文的本地对话、问答与文本生成
- 代码生成、程序辅助和 HumanEval 式编程任务
- 多项选择题、研究型问答等高难推理任务
- 具备大型统一内存或高端 GPU 环境的长上下文服务
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
E192 MoE 架构
通过 NAS 保留每层 192 个路由专家，并将参数规模从 753B 降至 563B
代码生成
模型卡自测 HumanEval pass@1 为 92.7%，适合代码生成与辅助编程场景
高难推理
模型卡自测 GPQA-Diamond 为 84.8%，支持可调推理强度和较长生成
中英双语
模型卡标注支持中文与英文，并提供对话聊天模板
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 181 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 仓库提供 UD-IQ2_M 量化，模型卡称平均每权重 2.56 位，并混用 IQ2、IQ3、IQ4、Q5、Q6 与 Q8 张量类型
- 下载时须保留全部 6 个分片，并向 llama.cpp 传入首个元数据分片，其余分片由其自动加载
- imatrix_unsloth_E192.gguf 用于重新量化为其他类型，不是运行模型所必需的文件
- 该量化未重新量化原文件中的保留专家，但专家裁减与低比特量化的质量影响未在同框架下测量
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_M需全部分卷 | 168 GB | 181 GB | 206.5 GB | 251.5 GB | 查看文件组 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 181GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 206.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- NVIDIA 平台可使用 llama.cpp 的 CUDA 后端，资料中的参考配置为全层 GPU 卸载和统一 KV 池
- Mac Studio 可使用 mlx-serve，模型卡称 192GB 或更多统一内存可运行该路线
- 模型标签标注支持 Ollama、LM Studio 和 llama.cpp，但具体模型导入及参数映射步骤模型卡未说明
采用前要知道的限制
- 在资料测试的 llama.cpp 版本中，CPU 后端无法运行该架构，不能作为纯 CPU 部署方案
- 模型已移除 MTP 层，不支持 MTP 推测式解码
- 评估由仓库作者自行完成，未在相同框架下测试原始 256 专家版或全精度模型，裁减成本无法量化
- 仅提供 IQ2_M 运行文件，缺少面向普通硬件的其他量化版本