近30天源站下载量
34.9万
参数
9B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
本仓库为 empero-ai/Qwythos-9B-v2 的 GGUF 量化分发版本，并非独立训练成果，训练细节、能力评估与训练数据请以原 Qwythos-9B-v2 模型卡为准。提供 Q4_K_M、Q5_K_M、Q6_K、Q8_0 与 BF16 五档纯文本权重，并附对应 -MTP- 变体以启用 llama.cpp 推测解码；同时附带 mmproj-BF16 视觉投影器，支持图文输入与 1M token YaRN 长上下文。运行端适配 llama.cpp、Ollama、LM Studio、jan、KoboldCpp 等 GGUF 运行时。混合架构中 Gated-DeltaNet/SSM 张量在 K-quants 内被抬升到更高精度以保留敏感状态。
更适合谁
- 需要在消费级显卡上做链式思考推理的中英文用户
- 想本地离线运行并支持 1M token 长文本与图文输入的实验者
- 对低温度解码稳定性敏感、关心输出可复现性的用户
- 计划在 Ollama、LM Studio 等 GGUF 运行时中快速加载部署的人
典型使用场景
- 链式思考类问答、数学与逻辑推理任务
- 长文档摘要、代码分析、多轮深度对话
- 图文混合输入的多模态问答
- 本地离线环境下的无审查对话与研究实验
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
去循环解码
v2 通过 FTPO 把循环率从 6.7% 降到 0%，可直接使用 greedy 或 temp 0
MTP 推测解码
恢复 Qwen3.5 原生多 token 预测头，可配合 llama.cpp draft-mtp 加速
1M 长上下文
集成 YaRN rope 缩放，理论支持 1,048,576 token 窗口
多模态视觉
提供 mmproj 文件，可与文本量化组合进行图文输入
混合精度量化
SSM 张量在 K-quants 中保留更高位宽，减小量化损失
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 6 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 不确定选哪一档时优先 Q4_K_M，体积最小且质量尚可
- 想要更好效果且显存充裕可升 Q5_K_M 或 Q6_K
- 需要近无损精度或用作二次转换基座选 BF16，但需 16GB 以上显存
- 想启用 MTP 推测解码必须下载带 -MTP- 后缀的对应量化文件
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q4_K_M | 5.3 GB | 6 GB | 7 GB | 8.5 GB | 下载文件 ↗ |
| Q4_K_M | 5.5 GB | 6 GB | 7 GB | 8.5 GB | 下载文件 ↗ |
| Q5_K_M | 6.1 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| Q5_K_M | 6.3 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| Q6_K | 6.9 GB | 8 GB | 9.5 GB | 10.5 GB | 下载文件 ↗ |
| Q6_K | 7.1 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
| Q8_0 | 8.9 GB | 10 GB | 11.5 GB | 13.5 GB | 下载文件 ↗ |
| Q8_0 | 9.1 GB | 10 GB | 11.5 GB | 14 GB | 下载文件 ↗ |
| BF16 | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
| BF16 | 17 GB | 19 GB | 22 GB | 26 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 6GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 7GB。
阅读 8GB 显存选型指南 →可以怎样运行
- llama.cpp 命令行或 server，MTP 推测需较新的 draft-mtp 构建
- Ollama 直接导入 GGUF 文件即可使用
- LM Studio、jan、KoboldCpp 将文件放入模型目录即可加载
- 图文输入需要同时加载文本量化与 mmproj-BF16 视觉投影器
采用前要知道的限制
- 本仓库为量化分发，模型卡未给出量化后独立跑分
- 视觉塔未在 Qwythos 训练中微调，图文能力继承 Qwen3.5-9B 基座行为
- 完整 1M 上下文通常需要多卡或激进的 KV-cache 卸载
- 主语言为英文，模型卡未说明中文训练语料占比