gemma-4-12b-it-GGUF：本地多模态对话与推理

模型能力来自 Google DeepMind 的 Gemma 4 12B Unified 基础模型，采用编码器自由的多模态架构，原生支持文本、图像、音频输入以及函数调用、思考模式等能力，并提供系统角色；本仓库为 Unsloth 提供的 GGUF 静态量化分发版，附带 MTP 多 token 预测支持，精度覆盖 IQ2 至 Q8 以及 BF16/F16；运行工具兼容 Ollama、llama.cpp 与 LM Studio。具体多模态细节与基准表现以官方模型卡为准。

显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。

按当前最小量化文件估算，至少需要 4.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 5.5GB。