近30天源站下载量
5.8万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
未声明
MODEL POSITIONING
这个模型解决什么问题?
模型层面,Qwen3.8-27B是原生支持图像与文本输入的多模态对话模型,架构为带门控与状态路径的混合注意力,并集成多token预测头,原生支持思维链开关,模型卡未说明具体许可。仓库层面,本仓库由AtomicChat发布基于自研重要性矩阵的GGUF量化文件,覆盖IQ1到Q8_0共十余种精度,附带独立视觉投影文件mmproj可与各量化主文件配合。运行层面,支持llama.cpp、Ollama与LM Studio,需较新版本llama.cpp以获得qwen35架构支持。
更适合谁
- 希望本地部署27B级多模态对话模型的研究者与开发者
- 想尝试Qwen3.8思维链开关功能的用户
- 具备12GB以上显存显卡的本地推理玩家
- 关注量化精度与原模型差距的技术评测用户
典型使用场景
- 本地视觉问答与图像内容理解
- 长文档摘要、代码生成与多轮对话
- 思维链推理与复杂任务拆解
- 离线环境下的多模态助手应用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
多模态输入
支持图像与文本联合输入,可读取图片内容并完成视觉问答
长上下文
原生支持262144上下文,无需额外配置
思维链开关
集成thinking模式,可在生成中切换推理深度
量化精度梯度完整
从IQ1_M到Q8_0提供完整阶梯,KL散度与top-1均有实测数据
自研重要性矩阵
基于针对Qwen3.8构建的语料训练,覆盖对话、代码、推理、多语种等场景
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 9 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 12GB显存选AD-IQ2_S;16GB选AD-IQ3_S;24GB选AD-Q5_K_M-Q4_K_M;32GB选AD-Q6_K;48GB以上可上Q8_0
- IQ1_M极小量化(约8.5GB)虽能跑但KL散度达0.34,精度损失大,仅适合尝鲜
- 量化阶梯相邻文件相差1到2GB,14GB以下曲线变陡,优先选邻近较大文件
- 视觉投影文件mmproj独立下载,F16与BF16版本按运行环境偏好二选一
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ1_M | 7.9 GB | 9 GB | 10.5 GB | 12 GB | 下载文件 ↗ |
| IQ2_XXS | 8.4 GB | 9.5 GB | 11 GB | 13 GB | 下载文件 ↗ |
| IQ2_XS | 9.2 GB | 10 GB | 11.5 GB | 14 GB | 下载文件 ↗ |
| IQ2_S | 9.5 GB | 10.5 GB | 12 GB | 14.5 GB | 下载文件 ↗ |
| IQ2_S | 10 GB | 11.5 GB | 13.5 GB | 16 GB | 下载文件 ↗ |
| IQ3_XXS | 11 GB | 12.5 GB | 14.5 GB | 17 GB | 下载文件 ↗ |
| IQ3_S | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| IQ3_S | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| IQ4_XS | 13 GB | 15 GB | 17.5 GB | 20.5 GB | 下载文件 ↗ |
| IQ4_XS | 15 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q4_K_M | 16 GB | 17.5 GB | 20 GB | 24 GB | 下载文件 ↗ |
| Q5_K_M | 17 GB | 19 GB | 22 GB | 26 GB | 下载文件 ↗ |
| Q5_K_M | 19 GB | 20.5 GB | 23.5 GB | 28.5 GB | 下载文件 ↗ |
| Q6_K | 21 GB | 23.5 GB | 27 GB | 32.5 GB | 下载文件 ↗ |
| Q6_K | 23 GB | 25.5 GB | 29 GB | 35 GB | 下载文件 ↗ |
| Q8_0 | 27 GB | 29.5 GB | 34 GB | 40.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 9GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 10.5GB。
阅读 12GB 显存选型指南 →可以怎样运行
- llama.cpp直接加载主量化与mmproj文件,需支持qwen35架构的较新版本
- Ollama直接拉取运行,已确认兼容
- LM Studio加载GGUF文件并启动对话
- 建议设置--image-min-tokens 1024保证视觉位置编码可靠
采用前要知道的限制
- 模型卡未说明原始Qwen3.8-27B许可类型,商业使用前需自行核查上游许可证
- 视觉识别要求至少1024图像token,否则位置信息可能不稳定
- 多token预测头被固定为q5_k精度,理论上不完全无损
- 部分极小量化(IQ1_M、IQ2_XS等)KL散度较高,生成质量明显下降