← 返回模型库

mradermacher/gemma-4-31B-it-ARA-heretic-GGUF

gemma-4-31B-it-ARA-heretic-GGUF:本地对话与多模态量化选择

该仓库提供 31B 参数英文对话模型的静态 GGUF 量化,适合希望在本地运行文本交互、并按内存选择精度档位的用户。Q2_K 最低约需 14GB RAM、12GB VRAM,Q4_K_S/Q4_K_M 推荐约 25GB RAM、20.5–22GB VRAM,Q8_0 推荐约 46GB RAM、38GB VRAM。

本地对话31B 参数GGUF 量化多模态补充
查看模型源页面 ↗
近30天源站下载量
7.8万
参数
31B
上下文
未说明
架构 / 任务
未分类
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

模型能力方面,本模型基于 richardyoung/gemma-4-31B-it-ARA-heretic,来源标注为 31B 参数、英文、对话模型,并带有 heretic、uncensored、decensored、abliterated 与 openrail++ 等标签;模型卡未说明具体任务类型、架构细节、上下文长度或能力评测。量化仓库方面,本仓库提供多档静态 GGUF,以及用于多模态的 mmproj-Q8_0、mmproj-f16 补充文件。运行工具方面,来源确认兼容 Ollama、llama.cpp 和 LM Studio。

更适合谁

  • 需要本地运行 31B 参数英文对话模型的用户
  • 内存或显存有限、希望比较不同量化档位的用户
  • 已使用 Ollama、llama.cpp 或 LM Studio 的本地部署用户

典型使用场景

  • 本地英文文本对话
  • Ollama、llama.cpp 或 LM Studio 部署
  • 按设备内存比较不同 GGUF 量化
  • 配合 mmproj 文件尝试多模态工作流

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

对话定位

标签明确包含 conversational,适合作为本地文本对话模型

量化选择丰富

提供 Q2_K 至 Q8_0,以及 IQ4_XS 等多种 GGUF 档位

多模态补充文件

仓库列出 mmproj-Q8_0 与 mmproj-f16 多模态补充文件

开放运行路线

标签包含 openrail++,并提供多种本地运行工具兼容性

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 12 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • Q4_K_S 与 Q4_K_M 被来源标注为 fast、recommended,可作为优先考察档位
  • Q8_0 被来源标注为 best quality,适合资源充足且重视保真度的用户
  • Q6_K 被来源标注为 very good quality,可作为高资源设备的中间选择
  • IQ4_XS 与相近尺寸的普通量化相比,来源建议优先考察 IQ 类型

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
Q2_K11 GB12 GB14 GB17 GB下载文件 ↗
Q3_K_S13 GB14 GB16 GB19.5 GB下载文件 ↗
Q3_K_M14 GB15.5 GB18 GB21.5 GB下载文件 ↗
Q3_K_L15 GB17 GB19.5 GB23.5 GB下载文件 ↗
IQ4_XS16 GB17 GB19.5 GB24 GB下载文件 ↗
Q4_K_S17 GB18 GB20.5 GB25 GB下载文件 ↗
Q4_K_M17 GB19 GB22 GB26.5 GB下载文件 ↗
Q5_K_S20 GB21.5 GB24.5 GB30 GB下载文件 ↗
Q5_K_M20 GB22 GB25.5 GB31 GB下载文件 ↗
Q6_K23 GB25.5 GB29.5 GB35.5 GB下载文件 ↗
Q8_030 GB33 GB38 GB46 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 12GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 14GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • 通过 llama.cpp 加载 GGUF 文件
  • 通过 Ollama 使用其兼容模型
  • 通过 LM Studio 选择对应 GGUF 量化
  • 多模态工作流需另行配置来源列出的 mmproj 文件

采用前要知道的限制

  • 模型卡未说明上下文长度、任务类型和架构细节
  • 来源仅标注英文,未提供中文能力说明或中文评测
  • 31B 参数模型对内存和显存要求较高,低资源设备选择有限
  • uncensored、decensored、abliterated 等仅来自标签,来源未提供效果验证