← 返回模型库

Venastine-Research/Xing4.0-29B-A4B-GGUF

Xing4.0-29B-A4B-GGUF:29B稀疏激活长上下文工程模型

由电信人工智能推出的29B稀疏激活MoE模型,每token仅激活4B参数,原生支持256K上下文并可扩展到512K。面向多步规划、工具调用、代码与代理任务,可用于复杂工程推理与垂直领域问答。本仓库为GGUF量化版本,最低约8.5GB内存即可尝试IQ2档位,Q4以上建议20GB以上显存以保证长上下文体验。

长上下文代理MoE工程模型本地代码助手256K上下文
查看模型源页面 ↗
近30天源站下载量
6.4万
参数
29B
上下文
未说明
架构 / 任务
xing4_0
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

模型能力方面,Xing4.0-29B-A4B基于mHC+MLA+MTP架构,强调代理与工程场景的工具调用与长链推理表现,并已在Ascend NPU平台完成训练适配。本仓库为社区GGUF量化发布,提供IQ2到Q8及F16共七档量化文件,覆盖从低内存尝鲜到高保真部署的多档需求。运行工具层面支持Ollama、llama.cpp、LMStudio本地推理,也兼容vLLM、SGLang、KTransformers等服务器框架。模型卡未提供关于多语言、风格控制或安全策略的额外说明。

更适合谁

  • 拥有16GB以上显存并希望本地跑长上下文代理模型的开发者
  • 需要在Q4到Q6档位做工程代码与多步规划任务的用户
  • 想在消费级显卡上尝试MoE架构中文模型的玩家

典型使用场景

  • 通过Ollama或LMStudio本地调试长上下文代理与代码任务
  • 用vLLM或SGLang部署OpenAI兼容API服务
  • 在LLaMA-Factory或MindFormers框架下做领域微调
  • 面向合同审计、表格理解、知识问答等垂直场景的轻量定制

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

稀疏激活MoE设计

29B总参数下每token只激活约4B,兼顾容量与推理开销

超长上下文支持

原生256K上下文并可扩展至512K,适合长文档与长代理链路

代理与工程优化

mHC+MLA+MTP架构强调多步规划、工具调用与代码执行

开源生态适配

支持vLLM、SGLang、KTransformers、Ollama等主流推理框架

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 10 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 显存紧张可先尝试IQ2_M了解能力上限
  • 常规本地代理与编程用途优先选Q4_K_M档位
  • Q5_K_M与Q6_K是质量与体积较平衡的选择
  • Q8_0适合显存充足且追求最高保真度的离线推理

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ2_M9.2 GB10 GB11.5 GB14 GB下载文件 ↗
IQ3_XXS11 GB12 GB14 GB16.5 GB下载文件 ↗
IQ3_XXS11 GB12 GB14 GB16.5 GB下载文件 ↗
IQ3_M12 GB13.5 GB15.5 GB18.5 GB下载文件 ↗
IQ3_M13 GB14 GB16 GB19.5 GB下载文件 ↗
Q4_K_M18 GB19.5 GB22.5 GB26.5 GB下载文件 ↗
Q5_K_M21 GB22.5 GB26 GB31.5 GB下载文件 ↗
Q6_K24 GB26 GB30 GB36 GB下载文件 ↗
Q8_031 GB33.5 GB38.5 GB46.5 GB下载文件 ↗
F1658 GB63 GB72 GB87.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 10GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 11.5GB。

阅读 12GB 显存选型指南 →

可以怎样运行

  • 通过Ollama拉取并以命令行或API方式运行
  • 使用LMStudio加载GGUF进行本地对话调试
  • 使用llama.cpp在命令行直接运行
  • 通过vLLM、SGLang或KTransformers部署为OpenAI兼容服务

采用前要知道的限制

  • 模型卡未提供关于多语言覆盖、风格控制的具体说明
  • GGUF仓库不包含训练数据细节与微调教程
  • 高质量档位对显存要求较高,低量化下能力可能下降
  • 模型卡未列出许可之外的额外使用限制说明