近30天源站下载量
65.2万
参数
2.6B
上下文
未说明
架构 / 任务
text-generation
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
本档案区分模型本体、量化仓库与运行工具三层信息。模型本体为 LiquidAI 基于 LFM2 架构扩展预训练与强化学习后的混合架构，主打设备端文本生成，覆盖十余种语言。仓库仅提供 GGUF 格式量化文件，未附带训练数据规模与基准成绩，模型卡未说明。量化方面提供 Q4_0、Q5_K_M、Q6_K、Q8_0、BF16、F16 六种常规版本，另含一份量化感知蒸馏（QAD）的 Q4_0 变体。运行层面支持 Ollama、llama.cpp 与 LM Studio 三种本地推理工具。
更适合谁
- 需要在本地离线运行轻量语言模型的用户
- 笔记本、低配台式机或边缘设备的部署场景
- 关注中文等多语言文本生成与对话的开发者
典型使用场景
- 设备端对话与文本生成
- 离线环境下的多语言问答
- 资源受限设备的轻量推理
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
设备端定位
模型卡明确以本地设备部署为目标，体积与算力门槛较低
混合架构
基于 LFM2 架构扩展预训练与强化学习形成的混合结构
多语言覆盖
覆盖中、英、日、韩、法、德等十余种语言
量化矩阵完备
提供从 Q4_0 到 F16 的多档 GGUF 量化版本
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 2 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 显存或内存紧张时优先选 Q4_0，体积最小且门槛最低
- 显存与质量兼顾可选 Q5_K_M 或 Q6_K
- 显存充足且追求接近原模型精度可选 Q8_0、BF16 或 F16
- 可试用 QAD-Q4_0 量化感知蒸馏变体与常规 Q4_0 对比效果
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 2GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 3GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 通过 llama.cpp 直接加载 GGUF 文件
- 通过 Ollama 拉取并运行
- 通过 LM Studio 在桌面端加载
- 具体推理速度与吞吐模型卡未说明
采用前要知道的限制
- 模型卡未提供基准测试与训练数据细节
- 仓库仅含 GGUF 量化文件，原始模型卡信息有限
- 性能表现缺乏公开对比数据
- 硬件需求为仓库配置估算，实际体验因工具与驱动而异