近30天源站下载量
112.7万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,该模型是基于 Qwen3.8-27B 的 RVN Heretic 版本,经过三次 ARA 处理,目标是在保持较低行为差异的同时减少拒答,模型卡标示上下文长度为262K。量化仓库提供 GGUF 文件,其中 multilingual 系列适合新的低比特部署,mtp 系列嵌入官方推测解码草案头。运行侧兼容 llama.cpp、Ollama 与 LM Studio,当前文件内置官方聊天模板。模型卡未说明训练数据,也未提供通用速度保证。
更适合谁
- 适合18岁以上成人进行创意写作与角色扮演
- 需要低拒答文本生成、并能自行承担使用责任的研究者
- 显存或统一内存有限、希望从低比特 GGUF 起步的用户
典型使用场景
- 成人向创意写作与叙事生成
- 角色扮演、对话创作及开放式问答
- 本地语言模型工具调用实验与兼容性测试
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
低拒答改写
模型卡称 RVN 在其100条有害行为评测中拒绝0至1次,KL为0.0085
27B 文本生成
基于 Qwen3.8-27B,采用64层混合架构,标称上下文长度为262K
多语言低比特校准
multilingual 文件按多语言、代码、推理和工具调用结构进行重要性校准
模板与工具调用适配
multilingual 文件已通过模型卡所述的聊天模板、工具调用和思考控制检查
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 7.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 新部署优先选择普通 -multilingual.gguf,不建议一次下载整个仓库
- 内存紧张可从 IQ2_XXS 开始;来源明确提示其相比Q3、Q4存在可见质量损失
- IQ1_S属于实验性极限压缩选项,不应以接近高质量量化的表现作为预期
- -mtp 是推测解码版本,不是更高质量量化;仅在运行工具支持且内存余量充足时选择
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ1_S | 6.7 GB | 7.5 GB | 8.5 GB | 10 GB | 下载文件 ↗ |
| IQ1_S | 6.7 GB | 7.5 GB | 8.5 GB | 10 GB | 下载文件 ↗ |
| IQ1_S | 7.1 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
| IQ1_S | 7.1 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
| IQ1_M | 7.1 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
| IQ1_M | 7.1 GB | 8 GB | 9.5 GB | 11 GB | 下载文件 ↗ |
| IQ1_M | 7.5 GB | 8.5 GB | 10 GB | 11.5 GB | 下载文件 ↗ |
| IQ1_M | 7.5 GB | 8.5 GB | 10 GB | 11.5 GB | 下载文件 ↗ |
| IQ2_XXS | 7.9 GB | 8.5 GB | 10 GB | 12 GB | 下载文件 ↗ |
| IQ2_XXS | 7.9 GB | 8.5 GB | 10 GB | 12 GB | 下载文件 ↗ |
| IQ2_XXS | 8.3 GB | 9 GB | 10.5 GB | 12.5 GB | 下载文件 ↗ |
| IQ2_XXS | 8.3 GB | 9 GB | 10.5 GB | 12.5 GB | 下载文件 ↗ |
| IQ2_XS | 8.5 GB | 9.5 GB | 11 GB | 13 GB | 下载文件 ↗ |
| IQ2_XS | 8.5 GB | 9.5 GB | 11 GB | 13 GB | 下载文件 ↗ |
| IQ2_S | 8.7 GB | 9.5 GB | 11 GB | 13.5 GB | 下载文件 ↗ |
| IQ2_S | 8.7 GB | 9.5 GB | 11 GB | 13.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 7.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 8.5GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp 直接加载 GGUF,当前文件无需额外聊天模板参数
- 使用 Ollama 导入或适配该 GGUF
- 使用 LM Studio 选择兼容模型文件运行
- 使用较新的 llama.cpp 与对应MTP参数运行 -mtp 文件;速度收益依量化与硬件而异
采用前要知道的限制
- 仅面向18岁以上成人,模型卡说明其安全护栏被有意降低
- 部分强安全类别仍保留拒答机制,并非完全无限制生成
- 262K 标称上下文不等于设备能完整承载,KV缓存与运行缓冲需额外内存
- IQ1_S全量GPU卸载仍可能失败;模型卡未说明训练数据与通用推理速度