← 返回模型库

ukisai/Swift-1.5-Qwen3.8-27B-GGUF

Swift-1.5-Qwen3.8-27B-GGUF:精简思考的高效推理模型

Swift 1.5 是 Qwen3.8-27B 的推理高效后训练改版,比原版减少约 58% 思考 token、准确率持平。强化编程与长程 Agent 任务,适合代码生成、终端工具调用与数学推理。提供 IQ2 到 Q8_0 多档 GGUF 量化,8GB 内存可加载,Q4 及以上适合 16–24GB 显存设备。

高效推理代码生成Agent 工具调用GGUF 量化
查看模型源页面 ↗
近30天源站下载量
26.4万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other

MODEL POSITIONING

这个模型解决什么问题?

模型能力来源:模型卡标注 pipeline_tag 为 image-text-to-text,标签含 reasoning、efficient-thinking、token-efficient、terminal-bench,并通过强化学习与 OPD 后训练强化长程 Agent、编程、数学能力;同仓库另有 mmproj F16 文件支持多模态,但具体支持范围模型卡未说明。量化仓库:本仓库为 GGUF 系列,从 BF16 转换而来,使用 bartowski 的重要度矩阵与 llama.cpp 6f41ac5 提交构建,覆盖 IQ2 到 Q8_0 共十余档。运行工具:模型卡标注兼容 llama.cpp 兼容运行时,并列出 Ollama、llama.

更适合谁

  • 想要本地部署 27B 参数规模、又在意响应开销的推理用户
  • 主要做编程、Agent 工具调用、数学与通用推理任务
  • 硬件介于 8GB 内存至 24GB 显存之间的本地部署玩家
  • 接受 Swift Open License v1.0 商用门槛的中小团队与个人

典型使用场景

  • 编程辅助与代码生成
  • 长程 Agent 与终端工具调用
  • 数学与通用推理问答
  • 本地私有化部署以降低对外部 API 的依赖

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

精简思维链

比 Qwen3.8-27B 减少约 58% 思考 token 而准确率持平

编程与 Agent 强化

LiveCodeBench、Terminal-Bench 2.1 等任务相对原版提升

长上下文支持

评测配置中上下文长度可达 131072 至 262144

多档 GGUF 量化

提供 IQ2 到 Q8_0 的多档选择,灵活适配不同硬件

多模态潜力

pipeline_tag 为 image-text-to-text,仓库含 mmproj 配套文件

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 9 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 显存充足且追求质量:选 Q8_0 或 Q6_K
  • 24GB 显卡日常使用:本仓库提供 Q4_K_L,可参照模型卡对 Q4_K_M 区间的推荐
  • 内存紧张需妥协质量:IQ2_M、IQ3_M 等低比特档
  • 长程 Agent 任务且需严格工具调用格式:模型卡建议 Q6_K 及以上

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ2_XXS8.3 GB9 GB10.5 GB12.5 GB下载文件 ↗
IQ2_XS8.5 GB9.5 GB11 GB13 GB下载文件 ↗
IQ2_S9.0 GB10 GB11.5 GB14 GB下载文件 ↗
IQ2_M9.8 GB11 GB12.5 GB15 GB下载文件 ↗
Q2_K10 GB11 GB13 GB15.5 GB下载文件 ↗
IQ3_XXS11 GB12.5 GB14.5 GB17.5 GB下载文件 ↗
Q3_K_S12 GB13 GB15 GB18 GB下载文件 ↗
IQ3_XS12 GB13 GB15 GB18 GB下载文件 ↗
Q3_K_M12 GB13.5 GB15.5 GB19 GB下载文件 ↗
Q3_K_L13 GB14.5 GB16.5 GB20 GB下载文件 ↗
IQ3_M14 GB15 GB17.5 GB21 GB下载文件 ↗
IQ4_XS14 GB16 GB18.5 GB22 GB下载文件 ↗
Q4_K_S15 GB16.5 GB19 GB23 GB下载文件 ↗
IQ4_NL16 GB18 GB20.5 GB24.5 GB下载文件 ↗
Q4_K_M16 GB18 GB20.5 GB24.5 GB下载文件 ↗
Q4_K_L18 GB19 GB22 GB26.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 9GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 10.5GB。

阅读 12GB 显存选型指南 →

可以怎样运行

  • Ollama:通过 Modelfile 加载 GGUF 文件
  • llama.cpp:使用 llama-server 等兼容运行时直接运行
  • LM Studio:支持 GGUF 导入并配置
  • 其他格式如 AWQ、NVFP4、MLX 等需切换到独立仓库

采用前要知道的限制

  • 商用许可受限:年营收超 100 万美元需额外 Swift Enterprise License
  • 多模态细节不明:模型卡未说明支持的具体图文任务范围
  • 极低量化质量损失明显:IQ2_M、Q2_K 在 32k 长上下文中 KLD 显著上升
  • 参数规模较大:最低档位仍需约 7GB 显存或 8GB 内存