近30天源站下载量
695.1万
参数
未知
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型卡将底座描述为 48 层、每层 512 个路由专家、每 token 激活 10 个的稀疏 MoE，并带视觉投影器，可处理图文输入；具体总参数规模模型卡未说明。该仓库不是普通单一量化权重，而是以 GSQ 学习低比特标量量化、以 RCO 按张量敏感度在体积预算下分配量化类型的非均匀 GGUF，提供 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档。每档均为两个分片，第二分片含 51.2B 参数 n-gram 查找表，可通过 llama.cpp 内存映射留在磁盘；运行端支持 llama.cpp、Ollama 与 LM Studio。
更适合谁
- 需要本地运行大参数稀疏 MoE 模型的个人或团队
- 有图片和文字联合输入需求的多模态用户
- 内存或显存容量较大、愿意使用分片映射部署的用户
- 需要比较不同低比特 GGUF 量化方案的用户
典型使用场景
- 图片与文字联合问答
- 编程、推理、问答与写作
- 知识检索增强等长提示交互
- 本地多模态对话与内容处理
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
稀疏 MoE 架构
每层包含 512 个路由专家，每个 token 激活其中 10 个
图文多模态能力
附带 BF16 视觉编码器与投影器，可用于图文输入
非均匀低比特量化
GSQ 与 RCO 按张量分配量化类型，在固定体积预算下控制精度
多运行工具兼容
可直接用于 llama.cpp、Ollama 和 LM Studio
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 67 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- IQ3_S || 模型卡标为推荐档，平均权重位宽 3.50，完整文件约 83.6 GB
- IQ3_XXS || 平均权重位宽 3.00，完整文件约 75.8 GB，适合内存相对紧张但希望保留更高精度的场景
- IQ2_XS || 平均权重位宽 2.50，完整文件约 68.0 GB，偏向以较小体积保留接近的任务表现
- Q2_0 || 平均权重位宽 2.40，完整文件约 66.4 GB，模型卡将其定位为速度取向方案，但质量略低于更高位宽版本
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 67GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 76.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- llama.cpp || 加载第一分片即可自动识别第二分片；建议使用 -lm mmap --lazy-mode on 将 n-gram 表留在磁盘
- Ollama || 可按仓库名检索并选择对应的 GSQ-RCO 构建
- LM Studio || 可搜索仓库名并选择 GGUF 量化版本
- 多模态运行 || 四个量化版本共用同一个 BF16 mmproj 文件以支持视觉输入
采用前要知道的限制
- 总参数规模和上下文长度模型卡未说明
- 完整下载量至少约 66.4 GB，对普通个人电脑的存储、内存或显存要求较高
- 两个模型分片都必须下载，即使第二分片采用磁盘映射也不会减少下载量
- 模型卡指出部分量化结果略高于 BF16 属于基准波动，不应理解为量化模型能力超过原始底座