近30天源站下载量
6757
参数
3B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,Nanbeige4.2-3B 是 3B 参数的中英双语模型,pipeline_tag 显示为文本生成,但上下文长度、训练数据、能力评测原模型卡未详细说明。量化仓库方面,owao 用户提供了从 Q2 到 Q8 共 8 档 GGUF 量化文件,覆盖从极低资源到接近原精度的需求。运行工具方面,兼容 llama.cpp、LM Studio 与 Ollama 三种推理框架,其中该仓库说明指出 Ollama 需使用其 fork 分支构建,主流 llama.cpp 路径可直接调用。
更适合谁
- 硬件资源有限但希望本地运行中文对话模型的用户
- 想在中英双语场景下测试小模型效果的爱好者
- 需要多档量化灵活权衡体积与质量的低资源部署者
- 想对比不同量化对小模型影响的研究者
典型使用场景
- 本地中文与中英双语对话问答
- 低硬件环境下的轻量级文本生成测试
- 小模型不同量化档效果对比研究
- 嵌入式或边缘设备上受限语言任务探索
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
3B 小参数量级
推理门槛低,便于在低配设备部署
中英双语支持
覆盖中文与英文常见对话场景
多档 GGUF 量化覆盖
从 Q2 到 Q8 八档可选,便于权衡体积与质量
第三方量化合集
文件齐全,可按需取用
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 2 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 极低配置老设备优先选择 Q2 或 IQ3_M,体积最小但模型卡未说明质量差异
- 平衡选择 Q4_K_M 或 IQ4_NL,是本地小模型常见甜点档位
- 显存充足且追求更高质量可选 Q5_K_M 或 Q6_K
- 接近原精度可使用 Q8_0,但需更大显存或内存开销
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q2_K | 1.6 GB | 2 GB | 3 GB | 8 GB | 下载文件 ↗ |
| Q3_K_S | 1.9 GB | 2.5 GB | 3.5 GB | 8 GB | 下载文件 ↗ |
| IQ3_S | 1.9 GB | 2.5 GB | 3.5 GB | 8 GB | 下载文件 ↗ |
| IQ3_M | 1.9 GB | 2.5 GB | 3.5 GB | 8 GB | 下载文件 ↗ |
| Q3_K_M | 2.0 GB | 2.5 GB | 3.5 GB | 8 GB | 下载文件 ↗ |
| Q3_K_L | 2.1 GB | 2.5 GB | 3.5 GB | 8 GB | 下载文件 ↗ |
| IQ4_XS | 2.2 GB | 2.5 GB | 3.5 GB | 8 GB | 下载文件 ↗ |
| Q4_K_S | 2.3 GB | 3 GB | 4 GB | 8 GB | 下载文件 ↗ |
| IQ4_NL | 2.3 GB | 3 GB | 4 GB | 8 GB | 下载文件 ↗ |
| Q4_K_M | 2.4 GB | 3 GB | 4 GB | 8 GB | 下载文件 ↗ |
| Q5_K_M | 2.8 GB | 3.5 GB | 4.5 GB | 8 GB | 下载文件 ↗ |
| Q6_K | 3.2 GB | 3.5 GB | 4.5 GB | 8 GB | 下载文件 ↗ |
| Q8_0 | 4.1 GB | 4.5 GB | 5.5 GB | 8 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 2GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 3GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp 直接运行各 GGUF 量化文件
- 使用 LM Studio 加载并设置合适上下文与采样参数
- 按该仓库说明使用 Ollama 时需从其 fork 分支构建
- 通过 llama-cpp-python 集成到自有 Python 应用
采用前要知道的限制
- 原模型卡未提供上下文长度、训练数据与能力评测细节
- 原模型卡未说明模型的具体擅长任务与适用领域
- 量化合集来自第三方用户,原模型卡未说明是否存在质量或速度差异
- 部分量化档的实测表现与兼容性未在原模型卡中说明