NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF：30B MoE混合架构多语言推理底座

模型能力方面，NVIDIA-Nemotron-3.5-Lightning-30B-A3B 是 NVIDIA 推出的通用推理与对话模型，主打 Mamba-2+MoE+Attention 混合架构、3B 激活带来的高效推理，以及最高 1M token 的长上下文能力，支持工具调用与可配置的思考模式。本 GGUF 仓库为社区量化版本，由 unsloth 维护，覆盖 IQ1 至 Q8 与 BF16 全精度，与官方 NVFP4 部署版本互补：BF16 适合后训练与定制研究，NVFP4 适合数据中心直接推理，GGUF 适合本地消费级硬件与 llama.cpp/ollama 生态。

数值根据文件体积和运行余量估算，不是速度或效果承诺；长上下文、并发与 GPU 层数会改变实际占用。

按当前最小量化文件估算，至少需要 4GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 5GB。