近30天源站下载量
136.6万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型能力方面，基础模型是 Qwen/Qwen3.8-27B，任务标签为 image-text-to-text，仓库另含 BF16 视觉编码器与投影器；模型卡未说明训练数据、上下文长度和架构。量化仓库方面，GSQ 与 RCO 按张量敏感度分配量化类型，提供 IQ2_XS 至 IQ3_S 及可选 MTP 版本，其中 IQ3_S 是模型卡推荐档。运行工具方面，标准 GGUF 可直接用于 llama.cpp、Ollama 和 LM Studio；多模态还需配套 mmproj。
更适合谁
- 希望离线部署图文对话、推理和代码任务的本地用户
- 显存有限但仍想尝试 27B 参数模型量化版本的个人用户
- 需要在 llama.cpp、Ollama 或 LM Studio 中切换量化档位的用户
典型使用场景
- 本地图文问答与视觉内容理解
- 数学、科学推理与代码生成
- 离线或私有环境中的对话助手
- 不同内存与显存条件下的量化部署
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
多模态基础模型
基础模型为 Qwen/Qwen3.8-27B，任务标签为 image-text-to-text，并提供独立 BF16 mmproj
非均匀低比特量化
GSQ 与 RCO 按张量敏感度在总大小预算下分配不同量化类型
四档容量选择
提供 IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S，文件约 8.4–11.8 GB
推荐档明确
模型卡将 IQ3_S 标为推荐及 task-lossless 档，并列出多组基准结果
可选推测解码结构
MTP 版本携带多 token 预测头，供 llama.cpp 的推测解码使用
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 8.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 优先考虑 IQ3_S：模型卡推荐该档，文件约 11.8 GB，并将其描述为所列任务评测中的 task-lossless 档
- 空间优先可选 IQ2_XS：文件最小，约 8.4 GB、2.50 bpw；偏均衡可选约 10.1 GB、3.00 bpw 的 IQ3_XXS
- MTP 版本比对应普通版大约 0.35 GB，主要权重相同且质量不变，用于 llama.cpp 推测解码
- 多模态还需约 0.9 GB 的 BF16 mmproj，一份投影器可供所有量化版本使用
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_XS | 7.8 GB | 8.5 GB | 10 GB | 12 GB | 下载文件 ↗ |
| IQ2_XS | 8.2 GB | 9 GB | 10.5 GB | 12.5 GB | 下载文件 ↗ |
| IQ2_S | 8.6 GB | 9.5 GB | 11 GB | 13 GB | 下载文件 ↗ |
| IQ2_S | 8.9 GB | 10 GB | 11.5 GB | 13.5 GB | 下载文件 ↗ |
| IQ3_XXS | 9.4 GB | 10.5 GB | 12 GB | 14.5 GB | 下载文件 ↗ |
| IQ3_XXS | 9.7 GB | 11 GB | 12.5 GB | 15 GB | 下载文件 ↗ |
| IQ3_S | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| IQ3_S | 11 GB | 12.5 GB | 14.5 GB | 17 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 8.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 10GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 在 llama.cpp 中直接加载标准 GGUF；需要推测解码时选择对应 MTP 版本
- 在 Ollama 中搜索仓库名，并从文件列表选择 GSQ-RCO 版本
- 在 LM Studio 中搜索仓库名并选择所需量化文件
采用前要知道的限制
- 模型卡未说明上下文长度、基础架构、训练数据与具体生成风格
- 视觉功能依赖独立 mmproj，其额外 RAM 与显存占用资料未说明
- IQ3_S 的 task-lossless 结论限于模型卡列出的评测，不代表所有任务无损
- 内存和显存数字属于 GGUF 文件级估算，资料未提供速度保证或硬件实测