下载量
0
参数
27B
上下文
未说明
架构 / 任务
未分类
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
本仓库是 orcarouter 发布的 GGUF 量化分发合集，将 27B 参数的去审查 Qwen3.8 模型打包为多种量化版本，方便本地推理。模型能力方面：模型卡未说明原始模型的任务类型、训练数据和能力边界，仅可从模型名识别为去审查定位的语言模型；模型卡未说明架构与上下文长度。量化仓库方面：提供从 IQ2_M 到 Q8_0 共十种 GGUF 文件，体积从约 6.75GB 到 27GB，硬件需求从 8GB RAM 到 31.5GB RAM。运行工具方面：支持 Ollama、llama.cpp、LM Studio 三种本地推理方式。模型卡未提供基准测试和速度数据。
更适合谁
- 想本地运行中等规模语言模型的中文用户
- 拥有 16GB 以上内存或显存、希望离线部署的个人开发者
- 对去审查回答风格有需求的研究者与爱好者
典型使用场景
- 在本地电脑或工作站上离线运行对话模型
- 通过 Ollama、LM Studio 等桌面工具快速启动并测试
- 在 llama.cpp 上做参数调优和长上下文实验
- 作为去审查语言模型的对照样本进行能力研究
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
27B 中等规模语言模型
模型参数规模 27B，介于轻量与超大模型之间
量化规格齐全
提供从 IQ2 到 Q8_0 共十种 GGUF 量化版本
多运行时兼容
同时支持 Ollama、llama.cpp、LM Studio 三种本地推理工具
去审查定位
模型名明示 Uncensored，面向需要宽松回答的场景
Apache-2.0 开源协议
采用 Apache-2.0 许可，使用和分发限制较少
硬件怎么准备
- 8GB 内存仅可尝试 IQ2_M 极限压缩版本，模型卡未提供速度数据
- 16GB 内存推荐加载 IQ4_XS 或 Q4_K_S 等中等量化版本
- 24GB 内存可运行 Q6_K 等较高质量量化版本
- 31.5GB 内存才能完整加载 Q8_0 全精度版本
量化版本怎么选
- 入门硬件优先选 IQ2_M，文件约 6.75GB，门槛最低但模型卡未说明质量损失
- 平衡档位选 IQ4_XS 或 Q4_K_M，文件约 11-15GB，推荐 16GB 内存配置
- 高质量档位选 Q6_K，文件约 21GB，需要 22GB 以上内存
- 接近全精度选 Q8_0，文件约 27GB，需要 31.5GB 以上内存
GGUF VARIANTS
量化版本与硬件要求
数值根据文件体积和运行余量估算，不是速度或效果承诺；长上下文、并发与 GPU 层数会改变实际占用。
| 量化 | 文件 | 最低显存 | 推荐显存 | 推荐内存 | 来源 |
|---|---|---|---|---|---|
| IQ2 | 6.3 GB | 7 GB | 8 GB | 9.5 GB | 文件 ↗ |
| Q2 | 6.3 GB | 7 GB | 8 GB | 9.5 GB | 文件 ↗ |
| IQ3 | 9.4 GB | 10.5 GB | 12 GB | 14.5 GB | 文件 ↗ |
| Q3 | 9.4 GB | 10.5 GB | 12 GB | 14.5 GB | 文件 ↗ |
| IQ4 | 13 GB | 14 GB | 16 GB | 19 GB | 文件 ↗ |
| Q4 | 13 GB | 14 GB | 16 GB | 19 GB | 文件 ↗ |
| F16 | 16 GB | 17 GB | 19.5 GB | 24 GB | 文件 ↗ |
| Q5 | 16 GB | 17 GB | 19.5 GB | 24 GB | 文件 ↗ |
| Q6 | 19 GB | 20.5 GB | 23.5 GB | 28.5 GB | 文件 ↗ |
| Q8 | 25 GB | 27.5 GB | 31.5 GB | 38 GB | 文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 7GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 8GB。
阅读 8GB 显存选型指南 →可以怎样运行
- 通过 Ollama 加载 GGUF 并启动本地服务
- 通过 LM Studio 在桌面端直接运行
- 通过 llama.cpp 命令行加载并做精细参数调优
采用前要知道的限制
- 模型卡未提供原始模型的任务类型、架构和上下文长度说明
- 模型卡未提供速度、基准测试和质量对比数据
- 模型卡未提供训练数据、能力边界和适用场景说明
- 27B 参数规模在最低硬件配置下输出质量可能受限