← 返回模型库

DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF:冷融合加速推理创作全能模型

基于 Qwen3.8-27B 的第三方冷融合微调 GGUF 仓库,使用 GAIN 加 Unsloth 复合训练方法,号称 4bit 量化可保留近 99% BF16 性能,思考 token 压缩至常规版的 1/2 至 1/10。

冷融合推理长上下文代码MTP 量化创意角色写作
查看模型源页面 ↗
近30天源站下载量
32.9万
参数
27B
上下文
未说明
架构 / 任务
qwen3_5
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

该仓库是 Qwen3.8-27B 的微调 GGUF 量化仓库,作者为 DavidAU。模型能力层面:继承原生 256k 上下文与可扩展至 1M tokens 的窗口,支持视觉理解(需单独下载 mmproj 文件),官方定位覆盖代码、Agent、长链路任务、科研、创意写作等多场景;本微调重点在于压缩思考 token、加快推理速度、提升低量化稳定性。量化仓库层面:同时发布常规 GGUF 与 MTP GGUF 两套,IQ 到 Q8 各档位齐全,另含 BF16、F16、F32 三种 mmproj 投影文件。运行工具层面:兼容 Ollama、llama.cpp、LM Studio 等主流本地推理框架。模型卡未提供权威第三方基准数据与速度承诺。

更适合谁

  • 拥有 24GB 以上显存并追求高保真推理的本地玩家
  • 需要长上下文、低思考开销的代码与 Agent 任务开发者
  • 玩创意写作、故事续写与角色扮演的内容创作者
  • 想对比常规量化与 MTP 量化速度差异的研究型用户

典型使用场景

  • 长文档摘要与多轮深度对话
  • 软件工程代码生成与 Agent 自动化任务
  • 创意写作、故事续写与角色扮演
  • 复杂多步推理与科研类问答

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

冷融合训练保真

GAIN 加 Unsloth 训练方法号称让 4bit 与 8bit 保留约 99% BF16 性能

思考 token 压缩

在三种推理模式下将思考块压缩至常规版的 1/2 至 1/10

MTP 多 token 预测

提供 MTP 张量优化版本,参数合适时吞吐高于常规量化

原生长上下文

继承 256k 原生窗口并支持扩展至 1M tokens

视觉多模态

支持图像与视频理解,需配合 mmproj 文件启用

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 12 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 低显存入门优先 IQ2_M 或 IQ3_M 以保证可加载
  • 平衡性能与体积推荐 IQ4_NL 或 Q4_K_M
  • 高显存用户可选择 Q5_K_M 或 Q6_K 获得更稳输出
  • 建议同时下载一份常规 GGUF 与一份 MTP GGUF 进行本地测试对比

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ2_M11 GB12 GB14 GB16.5 GB下载文件 ↗
IQ2_M11 GB12.5 GB14.5 GB17 GB下载文件 ↗
IQ3_M13 GB14.5 GB16.5 GB20 GB下载文件 ↗
IQ3_M14 GB15 GB17.5 GB20.5 GB下载文件 ↗
IQ4_XS14 GB15.5 GB18 GB21.5 GB下载文件 ↗
IQ4_XS15 GB17 GB19.5 GB23.5 GB下载文件 ↗
IQ4_XS16 GB17.5 GB20 GB24 GB下载文件 ↗
Q4_K_S16 GB17.5 GB20 GB24 GB下载文件 ↗
Q4_K_S16 GB18 GB20.5 GB24.5 GB下载文件 ↗
Q4_K_M17 GB18.5 GB21.5 GB25.5 GB下载文件 ↗
Q4_K_M17 GB19 GB22 GB26 GB下载文件 ↗
Q5_K_S19 GB20.5 GB23.5 GB28.5 GB下载文件 ↗
Q5_K_S19 GB21 GB24 GB29 GB下载文件 ↗
Q5_K_M19 GB21 GB24 GB29 GB下载文件 ↗
Q5_K_M20 GB21.5 GB24.5 GB30 GB下载文件 ↗
Q6_K21 GB23 GB26.5 GB31.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 12GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 14GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • LM Studio 桌面端直接加载 GGUF 与 mmproj 文件
  • Ollama 通过 Modelfile 或导入方式运行
  • llama.cpp 命令行或兼容前端推理
  • KoboldCpp、text-generation-webui、SillyTavern 等前端启用 smoothing 因子

采用前要知道的限制

  • 模型卡未提供权威第三方基准数据,仅引用作者自述
  • 27B 参数与 Q5 以上量化对显存要求较高,普通消费显卡难以舒适运行
  • MTP 量化在温度高于 1 或 token 接受率低于 50% 时性能会下降
  • 视觉能力需要额外下载并正确放置 mmproj 文件