MODEL POSITIONING
这个模型解决什么问题？
模型能力来自上游 LFM2.5-24B-A2B（24B 参数 MoE），仓库依据 Arditi 等人方法仅编辑第 14-39 块中沿残差流的拒答方向，将该方向反向后保留 3/4 大小，工具调用与思考模式均保留；本仓库是 GGUF 量化仓库而非训练产物，提供 6 档 baked 量化（AD-IQ3_M 到 AD-Q8_0）与一份 24MB LoRA 适配器，后者可叠加到任意原版 LFM2.5-24B-A2B GGUF 上使用，推荐 scale 1.75。运行工具方面，仓库元数据显示 ollama、llama.cpp、LM Studio 均支持，但模型卡明确写明尚未在 Mac、LM Studio 或 Ollama 上实测，llama.cpp 需带 lfm2moe 与 LFM2.
更适合谁
- 已在本地运行 LFM2.5-24B-A2B 并希望叠加适配器的用户
- 需要模型不拒绝敏感话题以做红队或学术研究的使用者
- 拥有 24GB 以上显存或充足内存的本地部署者
- 想要对比去反射前后表现的评测者
典型使用场景
- 本地对话与文本生成部署
- 红队评测与拒答机制研究
- 在已有 LFM2.5-24B-A2B GGUF 上叠加 24MB LoRA 适配器做实验
- 内容创作中需要更宽话题覆盖的问答
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
拒答显著降低
英文 JBB 拒答从 96.3% 降至 1.2%，俄文 Aya 从 62% 降至 0%，XSTest 安全提示从 12.8% 降至 0%
知识能力保留
MMLU 2000 题由 64.40% 变为 65.55%，统计上不显著
多语言支持
模型卡声明支持英、阿、中、法、西、葡、意、德、日、韩等语言
量化与适配器并存
提供 AD-IQ3_M 到 AD-Q8_0 共 6 档 baked 量化，外加 24MB LoRA 适配器两种形态
长上下文
上游 LFM2.5-24B-A2B 支持 131072 tokens 上下文窗口
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 1 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 24GB 显存首选 AD-Q4_K_M，README 报告磁盘 15.4GB、top-1 一致率 79.6%
- AD-Q6_K 磁盘 20.9GB，KLD 接近 Q8 且少约 5GB 磁盘
- AD-IQ3_M 是仓库最小 baked 版本，磁盘 12.1GB，但 top-1 一致率仅 76.0%
- 已有上游 GGUF 可加载 lora 目录下 24MB LoRA 适配器，推荐 scale 1.75
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 1GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2GB。
阅读 4GB 显存选型指南 →可以怎样运行
- llama.cpp 需带 lfm2moe 与 LFM2.5 tokenizer 支持，并传 --jinja 启用嵌入模板
- 仓库元数据显示支持 ollama 与 LM Studio，但模型卡注明未实测
- 推荐采样：temperature 0.1、top_k 50、repetition_penalty 1.05
- 可在 Atomic Chat 应用内搜索该模型直接使用
采用前要知道的限制
- 模型卡明确写明尚未在 Mac、LM Studio 或 Ollama 上实测
- 拒答识别只看回复开头 32 个字符，措辞式软拒答可能漏检
- 答案措辞与原版有差异，AD-Q8_0 的 top-1 一致率为 81.4%
- 仅在英文与俄文上测量拒答，其他语言未测