近30天源站下载量
5.2万
参数
33B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
Nanbeige4.3-33B-GGUF 是 AtomicChat 对 Nanbeige4.3-33B 发布的量化仓库，不等同于基础模型本身。33B 参数基础模型的标签覆盖中英文、对话、推理、智能体与文本生成，默认开启思考模式；具体架构和上下文长度模型卡未说明。仓库提供 Atomic Dynamic 量化、普通 Q5_K_M 与 Q8_0，以及多组低比特文件；运行侧支持 llama.cpp、Ollama、LM Studio，也可下载后使用 Atomic Chat。
更适合谁
- 需要本地运行中英双语对话与文本生成的用户
- 重视推理、思考模式或智能体任务的用户
- 能为 33B 参数模型配置较高内存或显存的本地设备
典型使用场景
- 中英文内容生成与多轮对话
- 需要思考过程的复杂问答与推理
- 智能体工作流及工具调用实验
- 本地部署的通用文本生成应用
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
中英双语生成
模型标签覆盖 en、zh 与 text-generation
对话与推理
支持 conversational、reasoning，且思考模式默认开启
智能体应用
带 agent 标签，并为智能体及工具使用提供采样建议
Atomic Dynamic 量化
AD 文件使用独立重要性矩阵构建
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 14 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 优先比较同体积文件，模型卡明确提示不要只按量化名称判断
- 追求更接近原始权重的表现可考虑 Q8_0 或 AD-Q6_K，来源实测显示两者接近
- AD 文件使用独立重要性矩阵，同等体积下通常比对应普通预设保留更多信息
- 低于4比特的 IQ3_XXS、IQ2_S 对量化较敏感，仅在更大文件无法装入时使用
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2_S | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| IQ3_XXS | 14 GB | 15.5 GB | 18 GB | 21 GB | 下载文件 ↗ |
| IQ3_S | 16 GB | 17.5 GB | 20 GB | 24 GB | 下载文件 ↗ |
| IQ4_XS | 19 GB | 20.5 GB | 23.5 GB | 28.5 GB | 下载文件 ↗ |
| Q4_K_M | 20 GB | 21.5 GB | 24.5 GB | 30 GB | 下载文件 ↗ |
| Q5_K_M | 21 GB | 23 GB | 26.5 GB | 32 GB | 下载文件 ↗ |
| Q5_K_M | 22 GB | 24 GB | 27.5 GB | 33 GB | 下载文件 ↗ |
| Q5_K_M | 23 GB | 25 GB | 28.5 GB | 34.5 GB | 下载文件 ↗ |
| Q6_K | 26 GB | 28.5 GB | 32.5 GB | 39.5 GB | 下载文件 ↗ |
| Q6_K | 28 GB | 30.5 GB | 35 GB | 42.5 GB | 下载文件 ↗ |
| Q8_0 | 33 GB | 35.5 GB | 40.5 GB | 49.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 14GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 16GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp 加载 GGUF，思考模式默认开启
- llama.cpp 中可用 --chat-template-kwargs '{"enable_thinking": false}' 关闭思考
- 可通过 Ollama 或 LM Studio 使用兼容的 GGUF 模型
- 可直接下载文件并在 Atomic Chat 中打开
采用前要知道的限制
- 模型卡未说明具体模型架构与上下文长度
- 模型对量化较敏感，低于4比特时下一词元一致率明显下降
- IQ3_XXS 与 IQ2_S 的来源实测 top-1 均低于85%
- 模型卡未说明具体生成速度，实际速度无法由文件大小直接判断