近30天源站下载量
49.6万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other
MODEL POSITIONING
这个模型解决什么问题?
模型层面:Swift-Qwen3.8-27B 是 UkisAI 在 Qwen3.8-27B 基础上的推理高效微调版,沿用 Qwen3 系列混合架构(64 层中 48 层为循环结构),专注缩短推理 token 与提速,同时保持通用推理、数学、代码与多模态能力接近原版。本仓库仅提供 GGUF 量化权重,覆盖 IQ2 至 Q8_0 多档分位,并附带视觉投影文件以支持图像输入;量化由 bartowski 配置生成,对循环门控与 MTP 头等敏感张量做针对性提升。运行层面,仓库明确支持 llama.cpp、LM Studio、koboldcpp、Jan AI 与 Ollama,其中 Ollama 0.33+ 可一键拉取并启用 MTP 推测解码。模型卡未说明具体每秒 token 速度。
更适合谁
- 长上下文推理与代码生成场景的用户
- 拥有 24GB 显存的中高端消费级或专业级显卡用户
- 希望本地部署多模态 27B 模型的研究者与爱好者
- 需要降低 token 消耗以节省推理成本的开发者
典型使用场景
- 长链推理、复杂数学证明与多步规划
- 代码生成、调试及 agentic 编程工具调用
- 多模态问答、OCR 文档理解与图表解析
- 长文写作、摘要提取与多轮对话
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
推理 token 显著缩减
相比 Qwen3.8-27B 基线减少约 58.3% 思考 token,能力跌幅小于 1%
多模态原生支持
内置视觉投影文件,可处理图像输入并做图文问答
超长上下文能力
支持最高 262,144 token 上下文,适配长文档与 agentic 任务
MTP 推测解码
内置多 token 预测层,可在 llama.cpp 与 Ollama 中启用加速
量化覆盖宽广
提供从 IQ2 到 Q8_0 共十余档分位,适配不同显存档位
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 9.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 24GB 显卡日常推理:Q4_K_M,由模型卡明确推荐
- 32GB+ 显存长 agentic 与严格工具调用:Q6_K 或更高
- 最大保真度复现:Q8_0 或 F16
- 极低显存兜底:IQ2_M 或 IQ2_XXS
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_XXS | 8.5 GB | 9.5 GB | 11 GB | 13 GB | 下载文件 ↗ |
| IQ2_XS | 8.7 GB | 9.5 GB | 11 GB | 13 GB | 下载文件 ↗ |
| IQ2_S | 9.2 GB | 10 GB | 11.5 GB | 14 GB | 下载文件 ↗ |
| IQ2_M | 10.0 GB | 11 GB | 12.5 GB | 15 GB | 下载文件 ↗ |
| Q2_K | 10 GB | 11.5 GB | 13.5 GB | 15.5 GB | 下载文件 ↗ |
| IQ3_XXS | 12 GB | 13 GB | 15 GB | 18 GB | 下载文件 ↗ |
| Q3_K_S | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| IQ3_XS | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| Q3_K_M | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| Q3_K_L | 13 GB | 14.5 GB | 17 GB | 20.5 GB | 下载文件 ↗ |
| IQ3_M | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
| IQ4_XS | 15 GB | 16 GB | 18.5 GB | 22 GB | 下载文件 ↗ |
| Q4_0 | 15 GB | 16.5 GB | 19 GB | 22.5 GB | 下载文件 ↗ |
| Q4_K_S | 15 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q4_1 | 16 GB | 18 GB | 20.5 GB | 24.5 GB | 下载文件 ↗ |
| IQ4_NL | 16 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 9.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 11GB。
阅读 12GB 显存选型指南 →可以怎样运行
- llama.cpp 直接加载 GGUF(会自动下载视觉投影文件)
- Ollama 0.33+ 通过 hf.co 仓库标签一键拉取并启用 MTP 推测解码
- LM Studio、koboldcpp、Jan AI 等前端加载 GGUF
- UkisAI 提供 OpenAI 兼容 API,研究用途免费
采用前要知道的限制
- 商用受限:年收入超 100 万美元的组织需另行申请 Swift Enterprise License
- 模型卡中的多模态与基准结果未在 GGUF 文件上重测,来源于 BF16/INT4 源模型卡
- 长上下文存在少量位置严重发散,每档量化均可能出现
- Ollama 默认 4K 上下文对长推理任务不足,需手动调高 num_ctx