近30天源站下载量
26.4万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other
MODEL POSITIONING
这个模型解决什么问题?
模型能力来源:模型卡标注 pipeline_tag 为 image-text-to-text,标签含 reasoning、efficient-thinking、token-efficient、terminal-bench,并通过强化学习与 OPD 后训练强化长程 Agent、编程、数学能力;同仓库另有 mmproj F16 文件支持多模态,但具体支持范围模型卡未说明。量化仓库:本仓库为 GGUF 系列,从 BF16 转换而来,使用 bartowski 的重要度矩阵与 llama.cpp 6f41ac5 提交构建,覆盖 IQ2 到 Q8_0 共十余档。运行工具:模型卡标注兼容 llama.cpp 兼容运行时,并列出 Ollama、llama.
更适合谁
- 想要本地部署 27B 参数规模、又在意响应开销的推理用户
- 主要做编程、Agent 工具调用、数学与通用推理任务
- 硬件介于 8GB 内存至 24GB 显存之间的本地部署玩家
- 接受 Swift Open License v1.0 商用门槛的中小团队与个人
典型使用场景
- 编程辅助与代码生成
- 长程 Agent 与终端工具调用
- 数学与通用推理问答
- 本地私有化部署以降低对外部 API 的依赖
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
精简思维链
比 Qwen3.8-27B 减少约 58% 思考 token 而准确率持平
编程与 Agent 强化
LiveCodeBench、Terminal-Bench 2.1 等任务相对原版提升
长上下文支持
评测配置中上下文长度可达 131072 至 262144
多档 GGUF 量化
提供 IQ2 到 Q8_0 的多档选择,灵活适配不同硬件
多模态潜力
pipeline_tag 为 image-text-to-text,仓库含 mmproj 配套文件
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 9 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 显存充足且追求质量:选 Q8_0 或 Q6_K
- 24GB 显卡日常使用:本仓库提供 Q4_K_L,可参照模型卡对 Q4_K_M 区间的推荐
- 内存紧张需妥协质量:IQ2_M、IQ3_M 等低比特档
- 长程 Agent 任务且需严格工具调用格式:模型卡建议 Q6_K 及以上
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_XXS | 8.3 GB | 9 GB | 10.5 GB | 12.5 GB | 下载文件 ↗ |
| IQ2_XS | 8.5 GB | 9.5 GB | 11 GB | 13 GB | 下载文件 ↗ |
| IQ2_S | 9.0 GB | 10 GB | 11.5 GB | 14 GB | 下载文件 ↗ |
| IQ2_M | 9.8 GB | 11 GB | 12.5 GB | 15 GB | 下载文件 ↗ |
| Q2_K | 10 GB | 11 GB | 13 GB | 15.5 GB | 下载文件 ↗ |
| IQ3_XXS | 11 GB | 12.5 GB | 14.5 GB | 17.5 GB | 下载文件 ↗ |
| Q3_K_S | 12 GB | 13 GB | 15 GB | 18 GB | 下载文件 ↗ |
| IQ3_XS | 12 GB | 13 GB | 15 GB | 18 GB | 下载文件 ↗ |
| Q3_K_M | 12 GB | 13.5 GB | 15.5 GB | 19 GB | 下载文件 ↗ |
| Q3_K_L | 13 GB | 14.5 GB | 16.5 GB | 20 GB | 下载文件 ↗ |
| IQ3_M | 14 GB | 15 GB | 17.5 GB | 21 GB | 下载文件 ↗ |
| IQ4_XS | 14 GB | 16 GB | 18.5 GB | 22 GB | 下载文件 ↗ |
| Q4_K_S | 15 GB | 16.5 GB | 19 GB | 23 GB | 下载文件 ↗ |
| IQ4_NL | 16 GB | 18 GB | 20.5 GB | 24.5 GB | 下载文件 ↗ |
| Q4_K_M | 16 GB | 18 GB | 20.5 GB | 24.5 GB | 下载文件 ↗ |
| Q4_K_L | 18 GB | 19 GB | 22 GB | 26.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 9GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 10.5GB。
阅读 12GB 显存选型指南 →可以怎样运行
- Ollama:通过 Modelfile 加载 GGUF 文件
- llama.cpp:使用 llama-server 等兼容运行时直接运行
- LM Studio:支持 GGUF 导入并配置
- 其他格式如 AWQ、NVFP4、MLX 等需切换到独立仓库
采用前要知道的限制
- 商用许可受限:年营收超 100 万美元需额外 Swift Enterprise License
- 多模态细节不明:模型卡未说明支持的具体图文任务范围
- 极低量化质量损失明显:IQ2_M、Q2_K 在 32k 长上下文中 KLD 显著上升
- 参数规模较大:最低档位仍需约 7GB 显存或 8GB 内存