近30天源站下载量
6.4万
参数
29B
上下文
未说明
架构 / 任务
xing4_0
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,Xing4.0-29B-A4B基于mHC+MLA+MTP架构,强调代理与工程场景的工具调用与长链推理表现,并已在Ascend NPU平台完成训练适配。本仓库为社区GGUF量化发布,提供IQ2到Q8及F16共七档量化文件,覆盖从低内存尝鲜到高保真部署的多档需求。运行工具层面支持Ollama、llama.cpp、LMStudio本地推理,也兼容vLLM、SGLang、KTransformers等服务器框架。模型卡未提供关于多语言、风格控制或安全策略的额外说明。
更适合谁
- 拥有16GB以上显存并希望本地跑长上下文代理模型的开发者
- 需要在Q4到Q6档位做工程代码与多步规划任务的用户
- 想在消费级显卡上尝试MoE架构中文模型的玩家
典型使用场景
- 通过Ollama或LMStudio本地调试长上下文代理与代码任务
- 用vLLM或SGLang部署OpenAI兼容API服务
- 在LLaMA-Factory或MindFormers框架下做领域微调
- 面向合同审计、表格理解、知识问答等垂直场景的轻量定制
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
稀疏激活MoE设计
29B总参数下每token只激活约4B,兼顾容量与推理开销
超长上下文支持
原生256K上下文并可扩展至512K,适合长文档与长代理链路
代理与工程优化
mHC+MLA+MTP架构强调多步规划、工具调用与代码执行
开源生态适配
支持vLLM、SGLang、KTransformers、Ollama等主流推理框架
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 10 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 显存紧张可先尝试IQ2_M了解能力上限
- 常规本地代理与编程用途优先选Q4_K_M档位
- Q5_K_M与Q6_K是质量与体积较平衡的选择
- Q8_0适合显存充足且追求最高保真度的离线推理
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_M | 9.2 GB | 10 GB | 11.5 GB | 14 GB | 下载文件 ↗ |
| IQ3_XXS | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| IQ3_XXS | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| IQ3_M | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| IQ3_M | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| Q4_K_M | 18 GB | 19.5 GB | 22.5 GB | 26.5 GB | 下载文件 ↗ |
| Q5_K_M | 21 GB | 22.5 GB | 26 GB | 31.5 GB | 下载文件 ↗ |
| Q6_K | 24 GB | 26 GB | 30 GB | 36 GB | 下载文件 ↗ |
| Q8_0 | 31 GB | 33.5 GB | 38.5 GB | 46.5 GB | 下载文件 ↗ |
| F16 | 58 GB | 63 GB | 72 GB | 87.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 10GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 11.5GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 通过Ollama拉取并以命令行或API方式运行
- 使用LMStudio加载GGUF进行本地对话调试
- 使用llama.cpp在命令行直接运行
- 通过vLLM、SGLang或KTransformers部署为OpenAI兼容服务
采用前要知道的限制
- 模型卡未提供关于多语言覆盖、风格控制的具体说明
- GGUF仓库不包含训练数据细节与微调教程
- 高质量档位对显存要求较高,低量化下能力可能下降
- 模型卡未列出许可之外的额外使用限制说明