近30天源站下载量
16.5万
参数
24B
上下文
未说明
架构 / 任务
text-generation
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
模型层面，LFM2.5-24B-A2B 由 LiquidAI 推出，官方将其定义为面向边缘 AI 与设备端部署的混合架构文本生成模型，强调在质量、速度与显存效率之间取得平衡；模型卡未说明具体的训练数据集、上下文长度上限与评测基准对比。仓库层面，本仓库仅提供 GGUF 量化文件，包含 Q4_K_M、Q5_K_M、Q6_K、Q8_0、BF16、F16 六个量化等级，并附带经量化感知蒸馏训练的 QAD-Q4_0 变体以恢复低比特精度。运行层面，仓库兼容 Ollama、llama.cpp 与 LM Studio 三种本地推理工具，采样参数随 GGUF 元数据写入。
更适合谁
- 希望在本地或边缘设备运行多语言文本生成模型的开发者
- 配备 16GB 以上显存的工作站或消费级显卡用户
- 关注低比特量化精度恢复并测试 QAD 蒸馏变体的研究者
典型使用场景
- 本地多语言对话与文本生成
- 在边缘设备或工作站上进行离线推理实验
- 对比不同量化等级下的生成质量与资源占用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
边缘混合架构
官方定位为面向边缘 AI 与设备端部署的混合架构模型，主打速度与显存效率
多语言覆盖
模型卡声明支持英语、阿拉伯语、中文、法语、德语、日语、韩语、西班牙语、葡萄牙语、意大利语
量化档位齐全
提供从 Q4_K_M 到 BF16 的多档 GGUF 量化，并附带 QAD-Q4_0 蒸馏变体
参数内嵌采样
采样参数随 GGUF 元数据写入，llama.cpp 默认应用，减少配置步骤
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 14 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 若优先显存占用与速度，可选 Q4_K_M；官方提供对应 QAD-Q4_0 蒸馏变体以缓解精度损失
- 若希望接近原模型表现，可选 BF16 或 F16，文件约 15GB
- 若在精度与体积之间折中，Q5_K_M 与 Q6_K 是较为平衡的中间档位
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 14GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 16GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp 直接加载 GGUF 文件进行推理
- 通过 LM Studio 图形界面选择对应 GGUF 并启动本地服务
- 在 Ollama 中导入并运行该仓库的 GGUF 量化文件
采用前要知道的限制
- 模型卡未说明上下文长度上限
- 模型卡未提供训练数据、评测基准与速度对比信息
- 仓库标签未列出具体下游任务类型，应用范围需以 base model 文档为准