orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF
OrcaSAQ-2-Cyber-27B-Uncensored-GGUF：27B 参数的 GGUF 本地对话生成模型
这是一份 27B 参数的 GGUF 量化文件，适配 llama.cpp、Ollama 与 LM Studio 等本地推理工具，适合希望在大显存或大内存机器上离线运行较大体量语言模型的用户。最低约需 20GB 内存或 17GB 显存，建议 24GB 内存或 19.5GB 显存以获得更稳定表现。
MODEL POSITIONING
这个模型解决什么问题？
模型能力层面，模型卡、描述与标签均为空，模型卡未说明任务类型、架构、训练数据或评测基准，仅能依据模型名中 Cyber 与 Uncensored 字样推测与网络安全话题或无过滤生成方向相关，但这一方向未由官方明确，需用户自行核实。量化仓库层面，本仓库仅提供一份 GGUF 文件 OrcaSAQ-2-27B-Uncensored.gguf，文件大小约 16.875 GB，最低需 20GB 内存与 17GB 显存，推荐 24GB 内存与 19.5GB 显存，模型卡未注明具体量化位宽。运行工具层面，runtimes 字段显示支持 Ollama、llama.cpp、LM Studio 三种环境。
更适合谁
- 拥有 24GB 以上内存或 19.5GB 以上显存的本地推理用户
- 希望通过 Ollama 或 LM Studio 在个人设备运行 27B 体量模型的用户
- 对 Cyber 与 Uncensored 命名方向感兴趣、愿意自行核实用途的研究者
- 能接受模型卡信息不完整的部署型用户
典型使用场景
- 在本地通过 Ollama 加载并运行该 GGUF 模型
- 在 LM Studio 中作为后端对话模型使用
- 使用 llama.cpp 在命令行或服务模式下进行推理
- 模型卡未说明其他官方推荐场景
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
27B 参数规模
属于 20B 到 30B 区间的中大体量语言模型
主流 GGUF 格式分发
可被 Ollama、llama.cpp、LM Studio 直接加载
三种本地推理工具支持
runtimes 字段已列出 Ollama、llama.cpp、LM Studio
单文件分发约 16.875 GB
路径单一，下载与缓存较简单
Apache-2.0 许可证
仓库 license 字段显示为 Apache-2.0
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 17 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 仓库仅提供一份 GGUF 量化文件，无多档位可对比
- 文件命名为 OrcaSAQ-2-27B-Uncensored.gguf，模型卡未标注量化位宽
- 部署前需确认该 GGUF 与本地 llama.cpp 或 Ollama 版本兼容
- 模型卡未说明不同量化版本之间的取舍
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| GGUF | 16 GB | 17 GB | 19.5 GB | 24 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 17GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 19.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- llama.cpp 命令行或本地服务部署
- Ollama 拉取并以 API 形式调用
- LM Studio 加载作为本地聊天后端
- 模型卡未提供官方示例脚本与参数推荐
采用前要知道的限制
- 模型卡、描述、标签均为空，任务类型与上下文长度未知
- 仅有一个 GGUF 变体，缺少量化位宽与质量对比说明
- 没有提供基准评测或速度数据
- 模型名含 Cyber 与 Uncensored 字样，官方未说明实际能力范围