近30天源站下载量
7.8万
参数
31B
上下文
未说明
架构 / 任务
未分类
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,本模型基于 richardyoung/gemma-4-31B-it-ARA-heretic,来源标注为 31B 参数、英文、对话模型,并带有 heretic、uncensored、decensored、abliterated 与 openrail++ 等标签;模型卡未说明具体任务类型、架构细节、上下文长度或能力评测。量化仓库方面,本仓库提供多档静态 GGUF,以及用于多模态的 mmproj-Q8_0、mmproj-f16 补充文件。运行工具方面,来源确认兼容 Ollama、llama.cpp 和 LM Studio。
更适合谁
- 需要本地运行 31B 参数英文对话模型的用户
- 内存或显存有限、希望比较不同量化档位的用户
- 已使用 Ollama、llama.cpp 或 LM Studio 的本地部署用户
典型使用场景
- 本地英文文本对话
- Ollama、llama.cpp 或 LM Studio 部署
- 按设备内存比较不同 GGUF 量化
- 配合 mmproj 文件尝试多模态工作流
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
对话定位
标签明确包含 conversational,适合作为本地文本对话模型
量化选择丰富
提供 Q2_K 至 Q8_0,以及 IQ4_XS 等多种 GGUF 档位
多模态补充文件
仓库列出 mmproj-Q8_0 与 mmproj-f16 多模态补充文件
开放运行路线
标签包含 openrail++,并提供多种本地运行工具兼容性
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 12 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- Q4_K_S 与 Q4_K_M 被来源标注为 fast、recommended,可作为优先考察档位
- Q8_0 被来源标注为 best quality,适合资源充足且重视保真度的用户
- Q6_K 被来源标注为 very good quality,可作为高资源设备的中间选择
- IQ4_XS 与相近尺寸的普通量化相比,来源建议优先考察 IQ 类型
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q2_K | 11 GB | 12 GB | 14 GB | 17 GB | 下载文件 ↗ |
| Q3_K_S | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| Q3_K_M | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
| Q3_K_L | 15 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| IQ4_XS | 16 GB | 17 GB | 19.5 GB | 24 GB | 下载文件 ↗ |
| Q4_K_S | 17 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
| Q4_K_M | 17 GB | 19 GB | 22 GB | 26.5 GB | 下载文件 ↗ |
| Q5_K_S | 20 GB | 21.5 GB | 24.5 GB | 30 GB | 下载文件 ↗ |
| Q5_K_M | 20 GB | 22 GB | 25.5 GB | 31 GB | 下载文件 ↗ |
| Q6_K | 23 GB | 25.5 GB | 29.5 GB | 35.5 GB | 下载文件 ↗ |
| Q8_0 | 30 GB | 33 GB | 38 GB | 46 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 12GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 14GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 通过 llama.cpp 加载 GGUF 文件
- 通过 Ollama 使用其兼容模型
- 通过 LM Studio 选择对应 GGUF 量化
- 多模态工作流需另行配置来源列出的 mmproj 文件
采用前要知道的限制
- 模型卡未说明上下文长度、任务类型和架构细节
- 来源仅标注英文,未提供中文能力说明或中文评测
- 31B 参数模型对内存和显存要求较高,低资源设备选择有限
- uncensored、decensored、abliterated 等仅来自标签,来源未提供效果验证