近30天源站下载量
136万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
模型能力来自基础模型 Swift 1.5 Qwen3.8-27B，定位长周期、代理式与编程类文本生成，通过后训练减少思考令牌用量。本仓库本身只是 GGUF 量化分发，不包含新的任务基准；可使用支持 Qwen3.8 的 llama.cpp、Ollama、LM Studio 等本地工具加载。量化方案复用 ISTA-DASLab 的 GSQ-RCO 每张量分配，并提供 -mtp 变体，需运行时支持该 MTP 实现。仓库所列 KLD 仅衡量量化前后 512 上下文分布差异，并非任务准确率，也不代表长上下文质量。模型卡未说明训练数据规模与组成。
更适合谁
- 想在消费级硬件本地运行 27B 量级文本生成的用户
- 需要长周期、代理式或编程类任务能力的开发者与研究者
- 已有 8GB 以上内存或显存、接受 llama.cpp 系工具的人
典型使用场景
- 本地长文档问答、多步代理与工具调用
- 编程辅助、代码生成与改写
- 离线或私密环境下的中文与英文文本生成
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
思考令牌更省
相对基础模型减少约 58.5% 思考令牌
多档混合精度
提供 IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S 四档 GGUF
MTP 变体支持
每档附带 -mtp 文件以保留多令牌预测解码
代理与编程后训练
后训练聚焦长周期代理、编程与代码类任务
GSQ-RCO 复用
量化分配基于 ISTA-DASLab 已发布的每张量方案
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 8.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 显存吃紧选 IQ2_S 或 IQ2_XS，文件更小但 KLD 相对更大
- 想要平衡体积与质量优先 IQ3_S-mtp，KLD 在四档中最低
- 若需 MTP 解码必须选带 -mtp 后缀的变体，并确认 llama.cpp 支持该 MTP 实现
- imatrix-swift15-v1mix.gguf 是重要性矩阵文件，不能单独用于推理
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_XS | 7.8 GB | 8.5 GB | 10 GB | 12 GB | 下载文件 ↗ |
| IQ2_XS | 8.2 GB | 9 GB | 10.5 GB | 12.5 GB | 下载文件 ↗ |
| IQ2_S | 8.6 GB | 9.5 GB | 11 GB | 13 GB | 下载文件 ↗ |
| IQ2_S | 8.9 GB | 10 GB | 11.5 GB | 13.5 GB | 下载文件 ↗ |
| IQ3_XXS | 9.4 GB | 10.5 GB | 12 GB | 14.5 GB | 下载文件 ↗ |
| IQ3_XXS | 9.7 GB | 11 GB | 12.5 GB | 15 GB | 下载文件 ↗ |
| IQ3_S | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| IQ3_S | 11 GB | 12.5 GB | 14.5 GB | 17 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 8.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 10GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 使用支持 Qwen3.8 架构的 llama.cpp 官方或社区构建
- 通过 Ollama 直接加载 GGUF 模型
- 在 LM Studio 中导入 GGUF 并通过本地 GUI 运行
- 仓库当前为私有，需被授权账号访问，并按 Swift Open License v1.0 使用
采用前要知道的限制
- 仓库仅做量化分发，不包含新的能力评估或下游任务基准
- KLD 仅为 512 上下文分布差异，不证明 32K 或更长上下文下的质量
- 未附带验证通过的视觉投影器，不支持图文多模态输入
- README 指出数学文本 KLD 高于 ISTA 对比量化，IQ3_S 在多数域也偏高