近30天源站下载量
29.3万
参数
1.7B
上下文
未说明
架构 / 任务
text-generation
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
该仓库提供 LiquidAI/LFM3-1.7B 的 GGUF 量化文件，任务类型为文本生成；模型卡未说明具体架构、上下文长度、基准成绩、训练数据或能力边界，仅列出多语言标签。仓库包含 Q4_0、Q4_K_M、Q5_K_M、Q6_K、Q8_0、BF16、F16，以及来自独立 NVFP4 权重的版本。运行层支持 llama.cpp、Ollama、LM Studio，另有 Llama.app 使用路径。选型时应分别判断基础模型能力、量化精度、文件体积和运行工具；NVFP4 对运行版本及 NVIDIA Blackwell 另有条件，不能仅按普通 GGUF 文件理解。
更适合谁
- 资源有限、希望在本地运行 1.7B 参数文本生成模型的用户
- 需要中文等多语言文本生成能力的本地应用开发者
- 希望比较不同 GGUF 量化精度与文件体积的体验用户
- 需要通过 Ollama、LM Studio、Llama.app 或 llama.cpp 部署的用户
典型使用场景
- 本地多语言文本生成与对话式交互
- 中文文本辅助写作、内容整理或简单问答
- 在个人电脑和边缘设备上测试轻量模型部署
- 比较不同 GGUF 量化版本的本地运行效果
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
本地推理
GGUF 版本面向 CPU 和 GPU 本地推理，减少对云端服务的依赖
部署工具广泛
明确支持 Ollama、LM Studio、Llama.app 与 llama.cpp
多语言标签覆盖
模型卡列出中文、英文、阿拉伯文、法文、日文、韩文等语言
量化选择丰富
提供 Q4、Q5、Q6、Q8、NVFP4、BF16 和 F16 文件
参数规模较小
1.7B 参数搭配轻量量化，适合作为本地文本生成实验或应用底座
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 1.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- Q4_0 文件来自 QAD 检查点，模型卡称其经过训练以恢复 Q4_0 量化损失的精度
- 日常本地体验可优先比较 Q4_K_M、Q5_K_M 与 Q6_K；Q8_0 文件更大，BF16、F16 文件约 3.47GB
- NVFP4 来自独立检查点，前馈权重保留 NVFP4，其余权重为 Q8_0，不等同于本仓库直接转换的其他文件
- NVIDIA Blackwell GPU 上 NVFP4 层可使用 FP4 张量核心；其他环境的兼容性应按所用 llama.cpp 构建确认
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 1.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2.5GB。
阅读 4GB 显存选型指南 →可以怎样运行
- llama.cpp：通用 GGUF 路径支持 v0.8.0 或更新版本；数学与科学场景建议 temperature 1.0、top_p 0.95、top_k 20
- LM Studio：支持 macOS、Windows、Linux，要求 llama.cpp 引擎 2.65.1 或更新版本
- Ollama：资料给出的命令为 ollama run lfm3，适用于 macOS，要求 v0.40.12 或更新版本
- Llama.app：支持 macOS、Windows，要求 llama.cpp v0.8.0 或更新版本；NVFP4 需 b12088 或更新版本
采用前要知道的限制
- 模型卡未说明具体上下文长度、架构细节、基准成绩、训练数据及不同语言的质量差异
- 来源未提供实际生成速度、吞吐量或不同设备上的性能实测，不能据此承诺速度
- NVFP4 依赖较新的 llama.cpp 构建，模型卡明确提示旧版本虽可加载但会输出错误结果
- 许可信息标记为 other，具体名称为 lfm1.0，使用前需自行核对许可条款