nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2
Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2：面向中文推理与代码任务的27B多模态模型
这是基于 Qwen3.8-27B 继续进行多轮 SFT 与 RLOO 的 27B 参数多模态模型，重点强化代码、推理并减少无效续写，模型卡称可处理文本、图像与视频。适合中文用户做编程、复杂问答和多模态交互；本地部署需按 GGUF 量化选择，Q2、Q3 更适合资源较紧的设备，Q4 及以上需要更多内存或显存。
MODEL POSITIONING
这个模型解决什么问题？
能力层面，模型卡说明这是在官方 Qwen3.8-27B 基础上继续进行多轮 SFT、SimPO 与 RLOO 后训练的 27B 参数模型，定位为代码与长推理增强，并针对“已有答案仍反复推导、耗尽上下文却不给最终答案”的停止问题做优化；高精度层级标注支持文本、图像和视频。仓库层面同时提供 BF16、FP8、NVFP4、INT4、INT8 与多档 GGUF。运行层面，safetensors 量化与 GGUF 的工具链不同：前者面向 SGLang、vLLM 或 NInfer，GGUF 可用 llama.cpp；Ollama、LM Studio 兼容性由标签标注，具体加载方式仍应核对对应工具。
更适合谁
- 需要本地运行代码生成、编程辅助和复杂推理的中文用户
- 关注长推理停止问题、希望减少无意义重复推导的用户
- 有约 16GB 或更高统一内存或显存条件，愿意选择 GGUF 量化版本的个人用户
- 需要文本、图像、视频输入的 27B 参数多模态应用开发者
典型使用场景
- 代码生成、代码解释、调试与算法题辅助
- 中文复杂问答、逻辑推理和需要较长思考过程的任务
- 图像或视频内容结合文本问题的多模态交互
- 使用 llama.cpp、Ollama 或 LM Studio 的本地部署
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
代码与推理增强
27B 参数模型通过多轮 SFT、SimPO 和 RLOO 后训练，重点强化代码生成与长推理表现
停止行为优化
针对已有答案后仍持续推导、触及生成上限却不返回最终答案的问题进行专项后训练
多模态输入
模型卡将完整精度层级标注为文本、图像和视频多模态，GGUF 仓库的视觉组件则需按具体工具另配
多种量化层级
提供 BF16、FP8、NVFP4、INT4、INT8 以及 Q2 至 Q8_0 的 GGUF 选择
+- 推测解码支持
MTP 与 DFlash2 是互斥的推测解码方案，模型卡还提供带 MTP 的 GGUF 文件
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 13.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 资源紧张时可在 Q2、Q3 中选择；模型卡提供对应评测，但不同量化的成绩并非随位宽单调变化
- Q4 是资源占用与保留较高精度的中间选择，Q6_K、Q8_0 需要明显更多内存或显存
- 多数 GGUF 文件内置 MTP；选择“Q8MTP”变体时，还应注意其文件体积和附加组件占用
- GGUF 的 Q2、Q3、Q4 使用 LynnStyle 命名；模型卡未说明所有量化在任意任务上的统一优劣
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q2LYNNSTYLE | 12 GB | 13.5 GB | 15.5 GB | 19 GB | 下载文件 ↗ |
| Q3LYNNSTYLE16G | 12 GB | 13.5 GB | 15.5 GB | 19 GB | 下载文件 ↗ |
| Q2LYNNSTYLE | 13 GB | 14 GB | 16 GB | 19 GB | 下载文件 ↗ |
| Q3LYNNSTYLE | 16 GB | 17.5 GB | 20 GB | 24.5 GB | 下载文件 ↗ |
| Q3LYNNSTYLE | 16 GB | 18 GB | 20.5 GB | 24.5 GB | 下载文件 ↗ |
| Q4LYNNSTYLE | 18 GB | 20 GB | 23 GB | 27.5 GB | 下载文件 ↗ |
| Q4LYNNSTYLE | 18 GB | 20 GB | 23 GB | 28 GB | 下载文件 ↗ |
| Q6_K | 22 GB | 23.5 GB | 27 GB | 32.5 GB | 下载文件 ↗ |
| Q8_0 | 27 GB | 29.5 GB | 34 GB | 41 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 13.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 15.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- GGUF 文件可通过 llama.cpp 的 llama-server 运行；Ollama 与 LM Studio 的兼容性由模型标签标注
- BF16、FP8、NVFP4 等 safetensors 层级主要面向 SGLang，模型卡称无需补丁即可加载
- INT4 与 INT8 量化层级面向 vLLM，FP8 层级也经过 vLLM 冒烟测试
- NVFP4-NInfer 与 GGUF-NInfer 格式需要官方 NInfer 引擎，不能与普通 GGUF 加载方式混用
采用前要知道的限制
- 27B 参数模型即使经过低比特量化，本地运行仍需要较大的内存或显存预算
- GGUF 仓库的视觉组件按版本区分；Lynn 的一键本地安装不包含视觉组件
- 模型卡未提供正式上下文长度字段；评测使用的是约 100K 上下文协议及 94,208 生成上限
- 各量化评测仍有截断、空答案或评测脚本兼容问题，不能将单一协议结果直接视为所有设备上的统一表现