近30天源站下载量
9051
参数
27B
上下文
未说明
架构 / 任务
未分类
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,来源仅给出 abliterated、uncensored、qwen3、qwen3.8、red-team、ai-safety-research 等标签,表明这是去除安全对齐的 27B 文本生成模型,原始基座为 OBLITERATUS/Qwen3.8-27B-OBLITERATED,具体任务类型、上下文长度窗口、训练数据与基准表现模型卡未说明。量化仓库由 mradermacher 提供静态 GGUF 量化产物,覆盖 Q2 到 Q8_0 共八个档位并附带 mmproj 多模态补充文件。运行工具支持 llama.cpp、Ollama 与 LM Studio 三种主流本地推理方式。
更适合谁
- AI 安全研究人员与红队测试人员
- 本地研究去对齐模型行为的开发者
- 评估越狱、对抗提示与对齐绕过风险的研究者
典型使用场景
- AI 安全红队演练与漏洞测试
- 对齐绕过与越狱攻击效果评估
- 去除安全约束后的模型行为分析
- 本地化复现红队场景下的模型输出
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
27B 规模大模型本地化部署
提供 27B 参数级别的推理能力
多档位 GGUF 量化覆盖
从 Q2 到 Q8_0 共八档,文件 11GB 到 29GB
去除安全对齐限制
标签明确标注 abliterated 与 uncensored
AI 安全研究专用定位
标签含 red-team 与 ai-safety-research
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 11 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- Q4_K_S 与 Q4_K_M 标注 fast, recommended,是显存与质量平衡档
- Q6_K 标注 very good quality,适合追求质量且显存充裕的研究者
- Q8_0 标注 best quality,文件接近 29GB
- IQ4_XS 体积相近时质量通常优于非 IQ 档
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q2_K | 10 GB | 11 GB | 13 GB | 15.5 GB | 下载文件 ↗ |
| Q3_K_S | 11 GB | 12.5 GB | 14.5 GB | 17.5 GB | 下载文件 ↗ |
| Q3_K_M | 13 GB | 14 GB | 16 GB | 19 GB | 下载文件 ↗ |
| Q3_K_L | 14 GB | 15 GB | 17.5 GB | 20.5 GB | 下载文件 ↗ |
| IQ4_XS | 14 GB | 16 GB | 18.5 GB | 22 GB | 下载文件 ↗ |
| Q4_K_S | 15 GB | 16 GB | 18.5 GB | 22.5 GB | 下载文件 ↗ |
| Q4_K_M | 16 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q5_K_S | 18 GB | 19.5 GB | 22.5 GB | 27 GB | 下载文件 ↗ |
| Q5_K_M | 18 GB | 20 GB | 23 GB | 27.5 GB | 下载文件 ↗ |
| Q6_K | 21 GB | 23 GB | 26.5 GB | 31.5 GB | 下载文件 ↗ |
| Q8_0 | 27 GB | 29.5 GB | 34 GB | 41 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 11GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 13GB。
阅读 24GB 显存选型指南 →可以怎样运行
- llama.cpp 命令行推理加载 GGUF 文件
- Ollama 一键拉取并启动本地服务
- LM Studio 图形界面选择 GGUF 直接对话
采用前要知道的限制
- 模型卡未说明上下文长度、训练数据与任务基准表现
- 去除对齐的版本不适用于正式生产或面向终端用户的应用
- 27B 模型对消费级显卡显存要求较高,低显存档位需以质量为代价
- 来源未提供速度、生成质量与亲测结论