NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF：30B MoE混合架构多语言推理底座

模型能力方面，NVIDIA-Nemotron-3.5-Lightning-30B-A3B 是 NVIDIA 推出的通用推理与对话模型，主打 Mamba-2+MoE+Attention 混合架构、3B 激活带来的高效推理，以及最高 1M token 的长上下文能力，支持工具调用与可配置的思考模式。本 GGUF 仓库为社区量化版本，由 unsloth 维护，覆盖 IQ1 至 Q8 与 BF16 全精度，与官方 NVFP4 部署版本互补：BF16 适合后训练与定制研究，NVFP4 适合数据中心直接推理，GGUF 适合本地消费级硬件与 llama.cpp/ollama 生态。

显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。

按当前最小量化文件估算，至少需要 20GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 23GB。