近30天源站下载量
9570
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型能力：来源将该仓库定位为 Qwen/Qwen3.8-27B 的 27B 参数文本生成量化版，属于纯文本模型，未包含视觉张量或多模态投影器。量化仓库：采用定制 SLQ，从多个 GGUF 供体中为完整矩阵选择来源，提供 EAR98、EAR98.5、EAR99 三档；文件后缀是 Hub 兼容与主精度族标签，不能理解为统一 Q5 或 Q6 分配。运行工具：模型卡给出需支持 Qwen3.8 架构的 llama.cpp 指令，标签同时标记 Ollama、llama.cpp 与 LM Studio 可用，但未提供后两者的完整操作步骤。
更适合谁
- 内存或显存充足、希望本地运行 27B 参数文本模型的用户
- 需要比较不同 EAR 保真目标与文件体积的用户
- 使用 llama.cpp、Ollama 或 LM Studio 进行文本生成的用户
- 研究 SLQ 混合精度量化与供体分配方案的用户
典型使用场景
- 本地对话与文本生成
- 部署 OpenAI 兼容的本地文本接口
- 比较不同量化档位的文件体积与 EAR
- 研究 GGUF 混合精度量化流程
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
27B 参数文本生成
基础模型为 Qwen/Qwen3.8-27B，任务标签为 text-generation
定制 SLQ 分配
从多个 GGUF 供体中为 498 个完整矩阵分别选择来源
三档 EAR 目标
提供 EAR98、EAR98.5 与 EAR99 三个近似保真目标版本
纯文本本地运行
GGUF 文件可通过支持 Qwen3.8 架构的 llama.cpp 启动文本服务
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 19 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 资源较紧可选择 Q5_K_S，对应 EAR98 目标和较小文件体积
- 需要中间档位可选择 Q5_K_M，对应 EAR98.5 目标
- 优先追求更高 EAR 目标可选择 Q6_K，对应 EAR99 目标，但资源门槛更高
- 三个文件均采用定制 SLQ 分配，Q5_K_S、Q5_K_M、Q6_K 后缀不代表全模型统一采用对应精度
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 19GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 22GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用支持 Qwen3.8 架构的 llama.cpp 加载 GGUF，并启动 OpenAI 兼容文本服务
- 标签标记 Ollama 兼容，但模型卡未说明具体导入与启动步骤
- 标签标记 LM Studio 兼容，但模型卡未说明具体加载流程
- 模型卡称已在 NVIDIA GH200 上验证原生文本评分与独立 GGUF 一致性
采用前要知道的限制
- 模型卡未说明具体下游能力、训练数据与上下文长度，不能据此判断专业任务质量
- 文件不含视觉张量或多模态投影器，不适用于图像或视频输入
- EAR 来自同一校准语料，属于校准保真度；模型卡未说明下游任务统计等价性
- GH200 验证未覆盖图像、视频推理或推测解码，不能外推为所有运行场景均已验证