近30天源站下载量
4.5万
参数
31B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
本仓库是ReadyArt发布的GGUF量化合集,原始模型为Google的gemma-4-31B-it。scotoma-2采用γ-fold方式应用heretic abliteration并叠加三轮DPO微调,专门针对写作中的句式套语做减法,但仍保留与原模型基本一致的拒绝能力,并非uncensored版本,作者明确标注为研究产物。仓库提供从IQ3到Q8共九个主量化文件以及BF16/F16多模态投影文件,支持llama.cpp、Ollama与LM Studio运行。模型卡未说明上下文长度与具体架构细节。
更适合谁
- 角色扮演与对话续写爱好者
- 注重行文变化的创意写作者
- 想在本地对比gemma-4-31B-it微调效果的实验用户
- 拥有16GB以上显存或24GB以上内存的本地推理玩家
典型使用场景
- 长篇角色扮演对话的句式多样化生成
- 创意小说片段与场景描写写作
- 本地部署下的句式风格对比实验
- 对gemma系列微调方法感兴趣的研究人员测试
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
去套语写作
三轮DPO分别针对反义否定、破折号插入语、堆叠形容词进行偏好训练
部分消偏处理
γ-fold叠加heretic abliteration,bf16保真度1.000合并
保留基础智能
微调目标是句式而非知识与推理能力
完整量化谱系
涵盖IQ3、Q3、IQ4、Q4、Q5、Q6、Q8及BF16/F16投影
开放授权
采用Apache-2.0协议
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 12.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 显存12至16GB建议优先Q3_K_M或IQ3_M以确保可加载
- 显存18至20GB建议选择Q4_K_M平衡体积与质量
- 显存24GB以上可考虑Q5_K_M或Q6_K获得更稳定输出
- mmproj投影文件为BF16与F16格式,需配合主模型使用
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ3_XXS | 11 GB | 12.5 GB | 14.5 GB | 17 GB | 下载文件 ↗ |
| IQ3_XS | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| Q3_K_S | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| IQ3_M | 13 GB | 15 GB | 17.5 GB | 20.5 GB | 下载文件 ↗ |
| Q3_K_M | 14 GB | 15.5 GB | 18 GB | 21.5 GB | 下载文件 ↗ |
| IQ4_XS | 16 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q4_K_S | 17 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
| Q4_K_M | 17 GB | 19 GB | 22 GB | 26.5 GB | 下载文件 ↗ |
| Q5_K_S | 20 GB | 21.5 GB | 24.5 GB | 30 GB | 下载文件 ↗ |
| Q5_K_M | 20 GB | 22 GB | 25.5 GB | 31 GB | 下载文件 ↗ |
| Q6_K | 23 GB | 25.5 GB | 29.5 GB | 35.5 GB | 下载文件 ↗ |
| Q8_0 | 30 GB | 33 GB | 38 GB | 46 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 12.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 14.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- Ollama直接拉取对应量化标签运行
- LM Studio加载GGUF文件进行本地推理
- llama.cpp命令行工具调用gguf文件
- 其他兼容llama.cpp格式的推理前端
采用前要知道的限制
- 模型卡未说明上下文长度与底层架构
- 并非uncensored版本,拒绝能力与原模型基本一致
- 31B参数量对显存与内存要求较高
- 行为受提示词与上下文影响,输出可能不稳定