← 返回模型库

agentionai/Qwen3.8-27B-AP-GGUF

Qwen3.8-27B-AP-GGUF:27B多模态贴近BF16的高保真量化

基于 Qwen3.8-27B 的图文多模态 GGUF 量化包,提供从 IQ2 到 BF16 的多档位并附带视觉投影器。Agention Precision 用自定义编码器声称同体积下比公开量化更接近官方 BF16 权重。

多模态推理高保真量化视觉理解27B参数
查看模型源页面 ↗
近30天源站下载量
67.9万
参数
27B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

Qwen3.8-27B 是支持图文的多模态基础模型;本仓库是 AgentionAI 用自研 Rust 工具 agention-infer 制作的高保真 GGUF 量化包,沿用标准 llama.cpp 张量类型、无需 fork 或额外 flag,并附带视觉投影器 mmproj-BF16 与 imatrix-mixed-v2 重要性矩阵。模型能力描述主要来自 pipeline_tag image-text-to-text 与基础模型名称,模型卡未说明上下文长度上限、训练数据细节、原厂推荐采样参数与视觉输入分辨率。速度、显存占用与 KV 缓存策略由推理端决定,本仓库本身只提供权重文件。

更适合谁

  • 想在消费级显卡跑 27B 多模态模型的本地用户
  • 关注同尺寸下保真度差异的量化对比玩家
  • 12–24GB 显存区间追求更高质量的开发者
  • 需要视觉理解但不愿切到更大模型的玩家

典型使用场景

  • 本地图文对话与多模态问答
  • 消费级显卡上的长上下文推理
  • 编程与代码生成辅助
  • 作为基准对比不同量化方案

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

贴近原版精度

自定义非均匀分配与低损纠错,KLD 比同尺寸公开量化更接近 BF16

多档位 GGUF 覆盖

IQ2 到 BF16 的完整档位,适配 8GB 至 24GB+ 不同显存

视觉理解支持

附带 mmproj-BF16 视觉编码器,支持图文输入

兼容主流推理工具

沿用标准 llama.cpp 类型,Ollama、LM Studio 可直接调用

长上下文友好

32k 上下文下 q8_0 KV 缓存约 1 GiB

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 10 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 模型卡推荐默认起步档为 AP-IQ4_XS,能装下就优先选它
  • 显存吃紧时按 AP-IQ3_S、AP-IQ3_XS、AP-IQ3_XXS、AP-IQ2_S 顺序降档
  • 高保真需求可升档到 AP-Q4_K_M 或 AP-Q4_K_XL
  • 启用视觉必须额外加载 mmproj-BF16.gguf

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ2_S8.9 GB10 GB11.5 GB13.5 GB下载文件 ↗
IQ3_XXS10.0 GB11 GB12.5 GB15 GB下载文件 ↗
IQ3_XS11 GB12 GB14 GB16.5 GB下载文件 ↗
IQ3_S11 GB12.5 GB14.5 GB17 GB下载文件 ↗
Q3_K_XL12 GB13.5 GB15.5 GB18.5 GB下载文件 ↗
IQ4_XS13 GB14.5 GB16.5 GB20 GB下载文件 ↗
Q4_K_M15 GB17 GB19.5 GB23.5 GB下载文件 ↗
Q4_K_XL16 GB18 GB20.5 GB25 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 10GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 11.5GB。

阅读 12GB 显存选型指南 →

可以怎样运行

  • llama.cpp 标准调用,无需 fork 或额外 flag
  • LM Studio 搜索 agentionai/Qwen3.8-27B-AP-GGUF 选择对应档位
  • 思维链默认开启,可通过 chat_template_kwargs 关闭

采用前要知道的限制

  • 模型卡未明确说明上下文长度上限、训练数据与视觉输入分辨率
  • 未公布完整任务基准,仅有 MMLU-Pro 70 题与一次性编码测试
  • 5 次单轮编码测试样本极小,不宜视为正式基准
  • AP-IQ2_S 与多个 AP-IQ3* 档位的校准集与 held-out 语料存在 1.4% 12-gram 重叠,held-out 数据未公开