近30天源站下载量
592.5万
参数
27B
上下文
未说明
架构 / 任务
qwen3_5
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
能力层面,27B 参数的 Qwen3.8-27B 是带视觉编码器的稠密模型,模型卡称其重点提升编程、专业工作、研究、自主规划、环境反馈处理及多步骤任务执行,并可按请求关闭思考或调节推理深度。量化层面,Unsloth 仓库提供 12 种 GGUF 文件,并宣称其 Dynamic v3.1 版本相较部分前沿量化有平均准确率提升;该说法属于仓库自述。运行层面,标签确认兼容 Ollama、llama.cpp 和 LM Studio,但模型卡未说明各工具的具体版本、视觉组件接入方式及速度表现。
更适合谁
- 需要本地运行代码生成、专业文档处理和研究辅助的开发者
- 需要图像、图表、文档或视频理解的 27B 多模态用户
- 显存或内存有限,希望比较多种 GGUF 量化的人群
- 需要规划、环境交互和长步骤任务能力的智能体开发者
典型使用场景
- 生成、解释和排查代码,并辅助软件开发工作流
- 分析图片、图表、扫描文档或视频内容
- 开展专业写作、研究资料整理与知识型问答
- 构建需要规划、工具反馈和多步骤执行的本地智能体
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
编程与专业任务
模型卡称其针对编码、专业工作、研究及长链路任务进行了能力增强
原生视觉理解
支持图像与视频输入,可处理 STEM 图表、文档及长视频内容
灵活思考控制
思考模式默认开启,可按请求关闭,并支持调节推理深度和保留历史思考内容
智能体执行
强化自主规划及对环境反馈的处理,面向端到端任务完成
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 6.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 内存或显存紧张时,可先比较 IQ1_S、IQ1_M 与 IQ2_XXS
- 希望扩大可用余量但保留较高本地资源投入时,可比较 IQ2_S、IQ3_S 或 Q3_K_XL
- Q4_0 需要约 16.06GB 文件空间及更高内存或显存,不适合低配置设备
- Unsloth 对部分 UD 量化宣称有准确率提升,但各量化质量仍应按实际任务本地验证
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ1_S | 5.8 GB | 6.5 GB | 7.5 GB | 9 GB | 下载文件 ↗ |
| IQ1_M | 6.3 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| IQ2_XXS | 6.7 GB | 7.5 GB | 9 GB | 10.5 GB | 下载文件 ↗ |
| IQ2_XS | 7.1 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
| IQ2_S | 7.8 GB | 8.5 GB | 10 GB | 12 GB | 下载文件 ↗ |
| Q2_K_XL | 9.3 GB | 10.5 GB | 12 GB | 14 GB | 下载文件 ↗ |
| IQ3_XXS | 10 GB | 11 GB | 13 GB | 15.5 GB | 下载文件 ↗ |
| IQ3_S | 11 GB | 12.5 GB | 14.5 GB | 17 GB | 下载文件 ↗ |
| Q3_K_XL | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| IQ4_XS | 13 GB | 14.5 GB | 17 GB | 20.5 GB | 下载文件 ↗ |
| Q4_K_S | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
| Q4_0 | 15 GB | 16.5 GB | 19 GB | 22.5 GB | 下载文件 ↗ |
| Q4_K_M | 15 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q4_1 | 16 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
| Q4_K_XL | 16 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
| Q5_K_S | 17 GB | 19 GB | 22 GB | 26.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 6.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 7.5GB。
阅读 8GB 显存选型指南 →可以怎样运行
- 可通过 Ollama 运行,仓库标签标记为兼容
- 可通过 llama.cpp 加载 GGUF,仓库标签标记为兼容
- 可通过 LM Studio 使用,仓库标签标记为兼容
- 思考模式建议 temperature=1.0、top_p=0.95、top_k=20;非思考模式建议 temperature=0.7、top_p=0.80
采用前要知道的限制
- 27B 参数即使采用低量化仍需要较大的内存或显存,无法据此保证具体生成速度
- 原生上下文长度为 262,144 tokens,可扩展至 1,000,000 tokens,但长文本可能需要 RoPE 扩展,实际工具支持模型卡未说明
- 图像与视频理解依赖对应预处理配置及运行工具接入,兼容版本模型卡未说明
- 模型卡未说明中文专项质量、各量化的独立实测结果,也未给出统一设备性能排名