← 返回模型库

LiquidAI/LFM2.5-VL-3B-GGUF

LFM2.5-VL-3B-GGUF:面向端侧的3B视觉语言多模态模型

LFM2.5-VL-3B-GGUF 是 LiquidAI 发布的 3B 参数视觉语言模型,采用混合架构主打边缘与端侧部署,支持图片加文本输入并覆盖十余种语言。适合需要在本地设备上做图像问答、视觉理解的开发者与个人用户,最小仅需 4GB 内存即可加载 Q4 量化,适合笔记本、迷你主机等资源受限场景。

多模态视觉问答端侧部署轻量模型
查看模型源页面 ↗
近30天源站下载量
2.8万
参数
3B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other

MODEL POSITIONING

这个模型解决什么问题?

模型卡未直接给出架构细节,仅说明属于 LiquidAI 推出的混合模型世代,专为端侧 AI 部署优化。能力维度上属于 image-text-to-text 类多模态模型,可在聊天中接收图片并回答相关内容;本仓库仅为 GGUF 量化版本,原始基座模型为 LiquidAI/LFM2.5-VL-3B。运行工具上明确支持 llama.cpp,并通过配置兼容 Ollama 与 LM Studio。上下文长度、训练数据、具体基准成绩等模型卡未说明。

更适合谁

  • 想在本地跑小型多模态视觉问答的开发者
  • 资源受限的边缘设备与个人电脑用户
  • 需要多语言视觉理解能力的轻量场景使用者

典型使用场景

  • 本地离线图像内容问答与描述
  • 轻量级视觉理解 Demo 与原型验证
  • 多语言图片相关问答与跨语言视觉任务

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

图像加文本多模态输入

通过 llama.cpp 的 /image 命令加入图片并提问,实现视觉问答

端侧与边缘部署优化

官方强调面向边缘 AI 与设备端推理,主打质量、速度与内存效率的平衡

多语言覆盖

模型卡列出阿拉伯语、中文、英语、法语、德语等十余种语言

小参数低占用

3B 参数规模,Q4 量化文件约 1.5GB,最低仅需 4GB 内存即可运行

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 2 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 优先选择 Q4_0 以获得最小体积与最低门槛
  • 追求质量与体积平衡可选 Q5_K_M
  • 需要接近原模型精度时考虑 BF16 或 F16
  • 高显存设备可选 Q8_0 以保留更多精度细节

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
Q4_01.5 GB2 GB3 GB8 GB下载文件 ↗
Q4_K_M1.6 GB2 GB3 GB8 GB下载文件 ↗
Q5_K_M1.8 GB2 GB3 GB8 GB下载文件 ↗
Q6_K2.1 GB2.5 GB3.5 GB8 GB下载文件 ↗
Q8_02.7 GB3 GB4 GB8 GB下载文件 ↗
BF165.0 GB5.5 GB6.5 GB8 GB下载文件 ↗
F165.0 GB5.5 GB6.5 GB8 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 2GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 3GB。

阅读 4GB 显存选型指南 →

可以怎样运行

  • llama.cpp 命令行推理,支持直接载入图片对话
  • Ollama 本地模型管理与对话
  • LM Studio 图形界面调用

采用前要知道的限制

  • 上下文长度模型卡未说明
  • 具体速度、画质与基准测试模型卡未说明
  • 许可证为 lfm1.0 自定义条款,并非常见开源协议