NVIDIA · GPU
RTX 3060 12GB 能运行哪些本地 AI 模型？
本页围绕中文办公与摘要、本地代码解释与改写、受控长度的资料问答提供选型与验证步骤。下面的结果按公开模型文件体积估算，适合作为选型起点，不替代目标设备实测。
先看结论
12GB的价值在于给常用模型和上下文留更多余量。先比较7B—8B的Q5/Q6与较大模型的Q4，用相同任务判断更大模型是否真的有收益。
当前共有 123 个模型存在估算加载容量不超过 12GB 显存的版本；其中 111 个模型的建议容量也在预算内，可作为优先核对的候选。另有 12 个模型只能在较激进量化、短上下文或部分卸载条件下接近下限运行。
阅读 12GB 显存完整选型指南 →适用任务与不宜直接尝试的情况
- · 中文办公与摘要
- · 本地代码解释与改写
- · 受控长度的资料问答
这里针对12GB版本；RTX 3060的其他显存版本不应套用本页。MoE的激活参数少，不代表所有权重都只占激活参数对应的容量。
可先核对的文本模型版本
以下版本的建议显存不超过本页预算，并优先从Q4及以上量化中选取。候选按源站下载量排序，仅作下载前的起点，不是质量榜单或设备实测。
Ornith-1.5-9B-GGUF：轻量代码与智能体推理模型
Q4_K_M · 权重合计 5.4 GB · 建议显存 7 GB
选择依据：文本生成任务、完整权重、建议容量在预算内。核对模型架构、许可证与运行时后再下载 →
Sharp-Spark-X2.5-4B-GGUF：小显存长上下文编程模型
Q4_K_XL · 权重合计 2.5 GB · 建议显存 4 GB
选择依据：文本生成任务、完整权重、建议容量在预算内。核对模型架构、许可证与运行时后再下载 →
LFM2.5-2.6B-GGUF：本地部署的多语言轻量文本生成模型
Q4_0 · 权重合计 1.5 GB · 建议显存 3 GB
选择依据：文本生成任务、完整权重、建议容量在预算内。核对模型架构、许可证与运行时后再下载 →
可复现的首次验证步骤
1. 确认12GB版本
在驱动或系统工具中查看实际显存，同时确认系统内存和当前空闲量，避免把其他3060配置当作12GB。
2. 做同任务对比
固定提示词与2048 tokens上下文，比较较小模型的较高量化和较大模型的Q4；记录事实错误与代码可运行性。
3. 再扩大上下文
先完成短任务，再逐级增加输入。出现显存不足时先降低上下文或并发，不把一次成功加载当作长期稳定结论。
记录：模型仓库与量化文件名、运行时版本、上下文长度、采样设置、峰值内存/显存、首字延迟、持续生成速度、三次任务的正确性。2048 tokens是本页建议的检查起点，不是模型的最大窗口或框架默认值。
RTX 3060 12GB 选模型时看什么？
先看建议显存
建议容量不超过预算时，再检查运行框架、上下文和系统的额外占用；容量估算不能证明模型质量或运行速度。
再看量化质量
Q4 常用于质量与体积平衡；IQ2、Q2 更省显存，但需要接受更明显的能力损失。
最后看任务
编程、长文本、多模态和图像生成的资源需求不同，不要只按参数量判断。
优先查看的兼容模型
按源站下载量与点赞排序，展示前12个候选。容量估算不代表运行速度或效果。
Qwen3.8-27B-GGUF：面向本地部署的多模态推理与编程
Qwen3.8-27B-GGUF 提供 Qwen3.8-27B 的 GGUF 量化版本，基础模型面向编程、专业工作、研究及长链路智能体任务，并原生支持图像、视频理解和可开关思考。适合通过 Ollama、llama.cpp 或 LM Studio 在本地运行的用户。
IQ1_S · 建议预留 7.5 GB 显存；容量估算，未做设备实测。
Ornith-1.5-9B-GGUF：轻量代码与智能体推理模型
Ornith-1.5-9B 是一款面向终端编码与智能体场景的 9B 密集模型，在 Qwen3.5 与 Gemma4 基础上继续预训练并通过自改进循环优化。模型默认输出链式推理，支持工具调用与最长 262K 上下文，可经 YaRN 缩放扩展到约 1M tokens。
Q4_K_M · 建议预留 7 GB 显存；容量估算，未做设备实测。
Huihui-Qwen3.8-27B-abliterated-GGUF：面向本地实验的低拒答多模态模型
该仓库是基于Qwen/Qwen3.8-27B的27B参数消融版，提供GGUF量化、MTP变体及Ternary Bonsai分支，面向本地研究、内容生成和低拒答实验。普通IQ2至IQ3文件资料建议约11至14.5GB内存或9.5至12GB显存；Ternary文件需专用llama.
GGUF · 建议预留 8 GB 显存；容量估算，未做设备实测。
Qwen-Image-2.1-Uncensored-Quantized：本地文生图与编辑的多格式量化模型
面向本地文生图与图像编辑工作流，提供基于 Qwen-Image-2.1 的 GGUF、Safetensors 和 MLX 量化文件。适合希望在 ComfyUI 中部署、且需要无内置安全过滤的成人创作者与研究者。硬件选择取决于量化：GGUF 最低约需 5 GB RAM、4.
Q4_0 · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-GGUF：少拒答中文对话与图文生成
这是基于 Qwen3.8-27B 的本地文本生成模型，支持中英文、262144 上下文并保留视觉能力；仓库通过移除拒答方向降低拒答率，但并非完全取消拒答。它提供多种 GGUF 量化与 MTP 文件，适合希望减少拒答、进行本地对话或图文任务的 27B 参数用户。最低档约需 12GB 以上内存与 10.
IQ2_M · 建议预留 12 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-GGUF：本地可跑的图文多模态量化版
这是 ggml-org 发布的 Qwen3.8-27B 的 GGUF 量化版本，基础模型 pipeline_tag 标注为 image-text-to-text，属于图文多模态模型，采用 Apache 2.0 协议。仓库提供 Q4_K_M、Q8_0 和 BF16 三种精度文件，对显存与内存有一定门槛。
Q4_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF：面向本地部署的多模态推理与创作
基于 Qwen3.5 的 9B 多阶段微调与合并模型，覆盖中英文等语言，面向通用问答、推理、代码、写作、角色扮演及图像理解，适合希望本地运行、低拒答的用户。仓库提供 Regular 与 MTP 两类 GGUF；IQ2_M 最低约需 6GB 内存、5GB 显存，Q4_K_M 建议约 10GB 内存、8.5GB 显存。
IQ2_M · 建议预留 6 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF：面向图文推理的本地对话模型
这是 27B 参数多模态模型，支持中英对话、推理及图像与视频理解，原生上下文为 262,144 token。Aggressive 版强调直接作答、较少拒答，适合本地长文档与代理任务。设备门槛随量化变化，最低 IQ2_M 文件约 10.32GB，建议准备 14.
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
Ternary-Bonsai-2-27B-gguf：让27B推理模型在本地低比特运行
这是基于 Qwen3.8-27B 的三值化 GGUF 文本生成模型，面向想在笔记本、单卡或离线环境运行 27B 参数推理、代码与工具调用的用户。PTQ1_0 文件约 5.95GB，最低内存估算 7GB；低比特版本依赖专用内核，Q2_0 需较新的主线 llama.cpp。
GGUF · 建议预留 7 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF：面向编码创作与深度推理的多模态模型
基于 Qwen3.8-27B 的多阶段微调模型，支持三档推理，面向编程、解题、创意写作、角色扮演和图文任务。模型卡强调缩短思考 token，并提供 Regular、MTP 两类 GGUF，适合本地开发与创作用户。支持主流 GGUF 工具本地运行；27B 参数对内存、显存要求较高，视觉输入另需 mmproj。
IQ2_M · 建议预留 14 GB 显存；容量估算，未做设备实测。
gemma-4-12b-it-GGUF：本地多模态对话与推理
由 Unsloth 发布的 Gemma 4 12B 指令微调量化版本，支持文本、图像和音频输入并输出文本，适合在消费级显卡或笔记本上做多模态对话、推理、编码与 OCR 任务。预训练覆盖 140 多种语言，长上下文可达 256K。
IQ2_M · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-GSQ-RCO-GGUF：面向多模态推理的本地量化模型
这是 Qwen3.8-27B 的 GSQ-RCO 非均匀 GGUF 量化仓库，提供视觉投影器，可用于图文对话、推理与代码任务。IQ3_S 是模型卡推荐档，11.8 GB；普通版本建议 16.5 GB RAM 或 14 GB 显存，低配可选 IQ2_XS，8.4 GB。
IQ2_XS · 建议预留 10 GB 显存；容量估算，未做设备实测。
常见问题
RTX 3060 12GB 能运行哪些本地 AI 模型？
按12GB显存估算，当前有123个候选模型，其中111个存在建议容量也在预算内的版本。结果不代表设备实测。
12GB 显存应该选择什么量化？
适合更高质量的 7B～14B 模型，并可尝试部分 MoE 或低量化大模型。优先选择建议显存低于设备容量的版本；接近下限时应缩短上下文，若减少GPU卸载层数还需足够系统内存。
最低显存和推荐显存有什么区别？
最低显存接近模型能够加载的估算下限，建议容量为运行框架、上下文 KV Cache 和系统占用保留余量，但不保证所有设置下都足够。接近下限并不等于能稳定高负载运行。
依据、更新方式与验证范围
选型方案编辑于2026年10月23日；候选文件与容量来自当前模型数据库，随同步更新。本站未对这些设备执行性能跑分，不提供固定tokens/s承诺。