← 返回模型库

LiquidAI/LFM2.5-VL-3B-GGUF

LFM2.5-VL-3B-GGUF:面向端侧的3B视觉语言多模态模型

LFM2.5-VL-3B-GGUF 是 LiquidAI 发布的 3B 参数视觉语言模型,采用混合架构主打边缘与端侧部署,支持图片加文本输入并覆盖十余种语言。适合需要在本地设备上做图像问答、视觉理解的开发者与个人用户,最小仅需 4GB 内存即可加载 Q4 量化,适合笔记本、迷你主机等资源受限场景。

多模态视觉问答端侧部署轻量模型
查看模型源页面
下载量
0
参数
3B
上下文
未说明
架构 / 任务
未分类
许可证
other

MODEL POSITIONING

这个模型解决什么问题?

模型卡未直接给出架构细节,仅说明属于 LiquidAI 推出的混合模型世代,专为端侧 AI 部署优化。能力维度上属于 image-text-to-text 类多模态模型,可在聊天中接收图片并回答相关内容;本仓库仅为 GGUF 量化版本,原始基座模型为 LiquidAI/LFM2.5-VL-3B。运行工具上明确支持 llama.cpp,并通过配置兼容 Ollama 与 LM Studio。上下文长度、训练数据、具体基准成绩等模型卡未说明。

更适合谁

  • 想在本地跑小型多模态视觉问答的开发者
  • 资源受限的边缘设备与个人电脑用户
  • 需要多语言视觉理解能力的轻量场景使用者

典型使用场景

  • 本地离线图像内容问答与描述
  • 轻量级视觉理解 Demo 与原型验证
  • 多语言图片相关问答与跨语言视觉任务

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

图像加文本多模态输入

通过 llama.cpp 的 /image 命令加入图片并提问,实现视觉问答

端侧与边缘部署优化

官方强调面向边缘 AI 与设备端推理,主打质量、速度与内存效率的平衡

多语言覆盖

模型卡列出阿拉伯语、中文、英语、法语、德语等十余种语言

小参数低占用

3B 参数规模,Q4 量化文件约 1.5GB,最低仅需 4GB 内存即可运行

硬件怎么准备

  • Q4_0 约 1.5GB 文件,最低 4GB 内存或 2GB 显存即可加载
  • Q5_K_M 与 BF16/F16 约 1.875GB,内存与显存门槛与 Q4 接近
  • Q6_K 约 2.25GB,建议显存不低于 2.5GB,推荐 3.5GB
  • Q8_0 约 3GB,建议显存 4.5GB 以上以获得更佳体验

量化版本怎么选

  • 优先选择 Q4_0 以获得最小体积与最低门槛
  • 追求质量与体积平衡可选 Q5_K_M
  • 需要接近原模型精度时考虑 BF16 或 F16
  • 高显存设备可选 Q8_0 以保留更多精度细节

GGUF VARIANTS

量化版本与硬件要求

数值根据文件体积和运行余量估算,不是速度或效果承诺;长上下文、并发与 GPU 层数会改变实际占用。

量化文件最低显存推荐显存推荐内存来源
Q41.4 GB2 GB3 GB8 GB文件 ↗
BF161.7 GB2 GB3 GB8 GB文件 ↗
F161.7 GB2 GB3 GB8 GB文件 ↗
Q51.7 GB2 GB3 GB8 GB文件 ↗
Q62.1 GB2.5 GB3.5 GB8 GB文件 ↗
Q82.8 GB3.5 GB4.5 GB8 GB文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 2GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 3GB。

阅读 4GB 显存选型指南 →

可以怎样运行

  • llama.cpp 命令行推理,支持直接载入图片对话
  • Ollama 本地模型管理与对话
  • LM Studio 图形界面调用

采用前要知道的限制

  • 上下文长度模型卡未说明
  • 具体速度、画质与基准测试模型卡未说明
  • 许可证为 lfm1.0 自定义条款,并非常见开源协议