近30天源站下载量
27.6万
参数
2B
上下文
未说明
架构 / 任务
any-to-any
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
模型能力方面，LFM3-Omni-2B 属于 any-to-any 非推理型多模态模型，支持文本、图像、视频和音频理解，以及文本和语音输出；多语言标签包含中文，但模型卡未说明各语言的具体效果。量化仓库方面，本仓库提供 Q4_0、Q4_K_M、Q8_0、BF16 和 F16 文件，面向本地 CPU 与 GPU 推理。运行工具方面，llama.cpp、LM Studio、Ollama 和 Llama.app 支持的输入模态并不完全相同，且部分多模态功能依赖版本、ffmpeg 或投影文件。模型卡未说明具体架构、上下文长度及量化质量差异。
更适合谁
- 需要在本地处理图文、音视频或语音交互的用户
- 偏好 2B 参数级端侧模型和多种 GGUF 量化的用户
- 使用中文等多语言内容且重视本地部署的用户
- 需要按设备资源选择轻量模型文件的入门用户
典型使用场景
- 本地图片问答与内容理解
- 视频画面和音轨综合问答
- 语音识别、语音合成与实时语音对话
- 端侧图文助手及 OpenAI 兼容接口应用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
全模态理解
可接收文本、图像、视频和音频输入
文本与语音输出
能够以文本和语音形式回答
端侧部署定位
2B 参数模型面向本地设备使用
多语言标签覆盖
标签包含中文及多种其他语言
量化选择丰富
提供 Q4、Q8、BF16 和 F16 文件
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 1.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 资源有限时可从 Q4_0 或 Q4_K_M 开始，两者最低显存估算相同
- 希望使用更大文件且设备资源充足时，可选择 Q8_0
- BF16 与 F16 文件大小和资源需求最高，适合资源更充足的设备
- 所给资料未提供各量化之间的质量对比，不能据此认定固定优劣顺序
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 1.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2.5GB。
阅读 4GB 显存选型指南 →可以怎样运行
- llama.cpp：建议使用 b11960 或 v0.8.0 及以上版本；使用 -hf 可下载视觉和音频投影文件，命令行可单轮提问，llama serve 可提供网页界面和兼容接口
- Llama.app：适用于 macOS 和 Windows，可输入图像、音频和视频，要求 llama.cpp v0.8.0 或以上
- LM Studio：适用于 macOS、Windows 和 Linux，明确支持图像输入，要求内置 llama.cpp 引擎 2.65.1 或以上
- Ollama：可运行 ollama run lfm3-omni，适用于 macOS，支持图像和音频输入，要求 v0.40.12 或以上
采用前要知道的限制
- 模型卡明确说明其为非推理模型；使用 llama serve 时应关闭 reasoning
- 各运行工具支持的输入模态不同，不能默认全部工具都支持图像、音频和视频
- 视频理解需要 ffmpeg，llama.cpp 使用投影文件时还需确认文件已正确下载
- 所给模型卡未说明架构、上下文长度、量化质量差异及各语言效果