近30天源站下载量
7.6万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
作为对话风格微调模型，它与官方 Qwen3.8-27B 的定位不同：把"像真人发短信"的口语化语气作为默认行为内置，无需系统提示即可输出简短、口语化的回复；用户提出正式邮件、工具调用、代码或解释等明确指令时，它会切回结构化输出。基础模型是 Huihui 团队发布的 abliterated 版本，拒答能力弱，模型卡未说明对中文的支持情况。GGUF 仓库覆盖 IQ4 到 BF16 全套量化，并附带 imatrix、独立 LoRA 与 mmproj 视觉投影器，可与官方 Qwen 权重区分使用。运行工具覆盖 llama.cpp、Ollama、LM Studio、vLLM 与 SGLang，社区另设免费 OpenAI 兼容端点。
更适合谁
- 想让本地大模型默认像真人发短信、口语化对话的用户
- SillyTavern 角色卡、陪伴聊天与创意写作场景
- 24GB 显存及以上显卡、需要函数调用与工具调用的本地代理
- 需要视觉问答或多轮长上下文的中端本地玩家
典型使用场景
- SillyTavern 角色扮演与日常陪伴聊天
- 同事口吻或品牌客服话术的本地代理
- 函数调用与工具调用工作流（天气、预订、信息检索等）
- 配合 mmproj 视觉投影器进行图像对话
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
像真人发短信
默认口语化反应式回复，无需系统提示即可输出短句
工具调用更克制
BFCL irrelevance 78、When2Call 58，能在工具不适配时追问或拒绝
指令遵循增强
IFBench 43.7、IFEval 83.5，高于基座同项得分
量化档位完整
IQ4_XS 到 BF16 共 6 个量化，并附 imatrix、LoRA 与 mmproj
工具链齐备
支持 llama.cpp、Ollama、LM Studio、vLLM、SGLang 与独立 LoRA
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 24GB 单卡首选 IQ4_XS（15.10GB）或 Q4_K_M（16.56GB）
- 32GB 显存可选 Q6_K（22.09GB）保留更多精度
- 48GB+ 显存选 Q8_0（28.60GB）或 BF16 完整权重
- 自定义量化可参考 imatrix 仓库文件
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 6GB。
阅读 8GB 显存选型指南 →可以怎样运行
- llama.cpp 或 llama-server（OpenAI 兼容 API，支持工具与视觉）
- Ollama 与 LM Studio 桌面端直接加载 GGUF
- vLLM 或 SGLang（safetensors，提供 GPTQ-Int4 / FP8 / BF16）
- 社区免费 OpenAI 兼容端点（IQ4_XS 量化）
采用前要知道的限制
- MMLU-Pro 72.5、LiveCodeBench 51，相对基座分别下降 6 与 5 分
- 基于 abliterated 基座，拒答能力较弱
- 模型卡未说明中文支持情况，仅标注英文与俄文
- 评测集较小、1–3 分属噪声；人类判断仅为单一 LLM 评判，并非真人