下载量
0
参数
2.6B
上下文
未说明
架构 / 任务
未分类
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
本档案区分模型本体、量化仓库与运行工具三层信息。模型本体为 LiquidAI 基于 LFM2 架构扩展预训练与强化学习后的混合架构，主打设备端文本生成，覆盖十余种语言。仓库仅提供 GGUF 格式量化文件，未附带训练数据规模与基准成绩，模型卡未说明。量化方面提供 Q4_0、Q5_K_M、Q6_K、Q8_0、BF16、F16 六种常规版本，另含一份量化感知蒸馏（QAD）的 Q4_0 变体。运行层面支持 Ollama、llama.cpp 与 LM Studio 三种本地推理工具。
更适合谁
- 需要在本地离线运行轻量语言模型的用户
- 笔记本、低配台式机或边缘设备的部署场景
- 关注中文等多语言文本生成与对话的开发者
典型使用场景
- 设备端对话与文本生成
- 离线环境下的多语言问答
- 资源受限设备的轻量推理
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
设备端定位
模型卡明确以本地设备部署为目标，体积与算力门槛较低
混合架构
基于 LFM2 架构扩展预训练与强化学习形成的混合结构
多语言覆盖
覆盖中、英、日、韩、法、德等十余种语言
量化矩阵完备
提供从 Q4_0 到 F16 的多档 GGUF 量化版本
硬件怎么准备
- 最低 4GB 内存 + 1.5GB 显存即可运行 Q4_0 版本
- 推荐 8GB 内存 + 2.5GB 显存以获得更稳定体验
- BF16/F16/Q5/Q6 版本约需 2GB 显存，Q8 版本建议 3GB 显存
- 无独立显卡时可纯 CPU 推理，具体速度模型卡未说明
量化版本怎么选
- 显存或内存紧张时优先选 Q4_0，体积最小且门槛最低
- 显存与质量兼顾可选 Q5_K_M 或 Q6_K
- 显存充足且追求接近原模型精度可选 Q8_0、BF16 或 F16
- 可试用 QAD-Q4_0 量化感知蒸馏变体与常规 Q4_0 对比效果
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 1.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2.5GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 通过 llama.cpp 直接加载 GGUF 文件
- 通过 Ollama 拉取并运行
- 通过 LM Studio 在桌面端加载
- 具体推理速度与吞吐模型卡未说明
采用前要知道的限制
- 模型卡未提供基准测试与训练数据细节
- 仓库仅含 GGUF 量化文件，原始模型卡信息有限
- 性能表现缺乏公开对比数据
- 硬件需求为仓库配置估算，实际体验因工具与驱动而异