近30天源站下载量
190.9万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
能力层：基于 Qwen3.8-27B 的 27B 参数稠密因果语言模型，带视觉编码器；模型卡称其覆盖文本、推理、代理、图像与视频理解，原生上下文 262,144 token。Aggressive 版改变拒答与回答风格，不改数据集。仓库层：提供 IQ2_M 至 Q8_K_P 的 GGUF 文本模型，K_P 为模型定制量化；另有 931MB BF16 视觉投影器和 903MB FastMTP 32K 草稿侧车。工具层：当前 llama.cpp 可启用嵌入式 MTP；完整 FastMTP 需侧车和专用补丁，LM Studio、Ollama 的兼容性取决于内置 llama.cpp。具体训练数据与完整消融方法，模型卡未说明。
更适合谁
- 希望在本地获得直接、中英双语回答的对话用户
- 需要处理长文档、推理或代理任务的用户
- 需要图像、视频与文字联合输入的多模态用户
- 具备 12.5GB 以上内存并希望尝试 GGUF 部署的用户
典型使用场景
- 中英文问答、写作与信息整理
- 长文档分析、摘要和连续对话
- 图片或视频内容理解
- 推理型任务与多轮代理工作流
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
图文视频理解
原生覆盖文本、图像和视频输入，视觉任务需搭配独立 BF16 投影器
长上下文处理
模型卡标称原生上下文为 262,144 token，并可按框架扩展
直接回答风格
Aggressive 版本侧重快速进入答案、减少前置说明与拒答行为
双推测解码路径
保留嵌入式 MTP/NextN，并提供可选 FastMTP 32K 草稿侧车
多语言支持
模型卡及标签覆盖中文、英文与多语言对话
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 1 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 内存紧张时可选 IQ2_M 或 Q2_K_P，其中 IQ2_M 文件约 10.32GB，是资料中体积最小的完整文本模型
- 常规部署可先考虑 Q4_K_P，文件约 17.92GB，在文件体量与量化等级之间较均衡
- 资源充足且偏向更高量化时可考虑 Q6_K_P 或 Q8_K_P，文件分别约 25.92GB 和 31.46GB
- K_P 文件仍是标准 GGUF；部分界面可能显示“?”，但模型卡说明这只是量化类型显示问题
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| GGUF | 0.8 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
| IQ2_M | 9.6 GB | 10.5 GB | 12 GB | 14.5 GB | 下载文件 ↗ |
| Q2_K_P | 9.9 GB | 11 GB | 12.5 GB | 15 GB | 下载文件 ↗ |
| IQ3_XS | 11 GB | 12.5 GB | 14.5 GB | 17.5 GB | 下载文件 ↗ |
| IQ3_M | 12 GB | 13 GB | 15 GB | 18 GB | 下载文件 ↗ |
| Q3_K_P | 13 GB | 14 GB | 16 GB | 19 GB | 下载文件 ↗ |
| IQ4_XS | 15 GB | 16 GB | 18.5 GB | 22 GB | 下载文件 ↗ |
| Q4_K_P | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
| Q5_K_P | 19 GB | 20.5 GB | 23.5 GB | 28.5 GB | 下载文件 ↗ |
| Q6_K_P | 24 GB | 26.5 GB | 30.5 GB | 36.5 GB | 下载文件 ↗ |
| Q8_K_P | 29 GB | 32 GB | 36.5 GB | 44 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 1GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 推荐使用支持 Qwen3.8 与 MTP 的新版 llama.cpp，并以 --jinja 启用聊天模板
- LM Studio、Ollama 等 GGUF 前端可使用，但功能取决于其内置 llama.cpp 版本
- 可仅用目标 GGUF 启用嵌入式 MTP；FastMTP 路径还需 903MB 草稿侧车及专用补丁
- 图像或视频输入需同时加载独立 BF16 投影器
采用前要知道的限制
- 27B 参数模型即使低量化也需要较高内存与显存，最大原生上下文不适合普通设备直接开启
- 旧版 llama.cpp 可能无法识别推理或 MTP 参数，K_P 量化还可能在部分界面显示异常
- 视觉与 FastMTP 均需额外文件，完整 FastMTP 部署还依赖特定补丁，不能视为通用即装即用
- Aggressive 版侧重无拒答与直接回答，可靠性要求高的代理任务应优先考虑 Balanced 版本；具体训练数据与完整消融方法，模型卡未说明