NVIDIA · GPU
RTX 4090 24GB 能运行哪些本地 AI 模型？
本页围绕较复杂的本地编程任务、中等长度文档分析、需要隐私控制的模型对比实验提供选型与验证步骤。下面的结果按公开模型文件体积估算，适合作为选型起点，不替代目标设备实测。
先看结论
24GB可以把候选范围扩到更多中型模型与较高量化版本。对于30B级量化，仍以具体文件、建议容量和实际任务为准；较小模型也可能提供更好的交互速度。
当前共有 166 个模型存在估算加载容量不超过 24GB 显存的版本；其中 162 个模型的建议容量也在预算内，可作为优先核对的候选。另有 4 个模型只能在较激进量化、短上下文或部分卸载条件下接近下限运行。
阅读 24GB 显存完整选型指南 →适用任务与不宜直接尝试的情况
- · 较复杂的本地编程任务
- · 中等长度文档分析
- · 需要隐私控制的模型对比实验
24GB不等于能同时容纳所有大模型、超长上下文和并发请求。多模态投影、KV缓存及其他GPU任务仍需占用容量。
可先核对的文本模型版本
以下版本的建议显存不超过本页预算，并优先从Q4及以上量化中选取。候选按源站下载量排序，仅作下载前的起点，不是质量榜单或设备实测。
Ornith-1.5-9B-GGUF：轻量代码与智能体推理模型
Q4_K_M · 权重合计 5.4 GB · 建议显存 7 GB
选择依据：文本生成任务、完整权重、建议容量在预算内。核对模型架构、许可证与运行时后再下载 →
Qwen3.8-27B-Uncensored-GGUF：少拒答中文对话与图文生成
Q4_K_M · 权重合计 15 GB · 建议显存 19.5 GB
选择依据：文本生成任务、完整权重、建议容量在预算内。核对模型架构、许可证与运行时后再下载 →
Sharp-Spark-X2.5-4B-GGUF：小显存长上下文编程模型
Q4_K_XL · 权重合计 2.5 GB · 建议显存 4 GB
选择依据：文本生成任务、完整权重、建议容量在预算内。核对模型架构、许可证与运行时后再下载 →
可复现的首次验证步骤
1. 先固定工作负载
分别选一个编程任务和一个文档任务，保持提示词和采样设置一致，避免只凭参数规模选模型。
2. 比较质量与延迟
先用单请求和短上下文比较候选。记录输出是否正确，以及首次响应和持续速度；本站没有提供4090实测跑分。
3. 分别验证长上下文与并发
先增加上下文，再单独增加并发，并记录峰值显存。不要同时提高两个变量后无法判断瓶颈。
记录：模型仓库与量化文件名、运行时版本、上下文长度、采样设置、峰值内存/显存、首字延迟、持续生成速度、三次任务的正确性。2048 tokens是本页建议的检查起点，不是模型的最大窗口或框架默认值。
RTX 4090 24GB 选模型时看什么？
先看建议显存
建议容量不超过预算时，再检查运行框架、上下文和系统的额外占用；容量估算不能证明模型质量或运行速度。
再看量化质量
Q4 常用于质量与体积平衡；IQ2、Q2 更省显存，但需要接受更明显的能力损失。
最后看任务
编程、长文本、多模态和图像生成的资源需求不同，不要只按参数量判断。
优先查看的兼容模型
按源站下载量与点赞排序，展示前12个候选。容量估算不代表运行速度或效果。
Qwen3.8-27B-GGUF：面向本地部署的多模态推理与编程
Qwen3.8-27B-GGUF 提供 Qwen3.8-27B 的 GGUF 量化版本，基础模型面向编程、专业工作、研究及长链路智能体任务，并原生支持图像、视频理解和可开关思考。适合通过 Ollama、llama.cpp 或 LM Studio 在本地运行的用户。
IQ1_S · 建议预留 7.5 GB 显存；容量估算，未做设备实测。
Ornith-1.5-9B-GGUF：轻量代码与智能体推理模型
Ornith-1.5-9B 是一款面向终端编码与智能体场景的 9B 密集模型，在 Qwen3.5 与 Gemma4 基础上继续预训练并通过自改进循环优化。模型默认输出链式推理，支持工具调用与最长 262K 上下文，可经 YaRN 缩放扩展到约 1M tokens。
Q4_K_M · 建议预留 7 GB 显存；容量估算，未做设备实测。
Huihui-Qwen3.8-27B-abliterated-GGUF：面向本地实验的低拒答多模态模型
该仓库是基于Qwen/Qwen3.8-27B的27B参数消融版，提供GGUF量化、MTP变体及Ternary Bonsai分支，面向本地研究、内容生成和低拒答实验。普通IQ2至IQ3文件资料建议约11至14.5GB内存或9.5至12GB显存；Ternary文件需专用llama.
GGUF · 建议预留 8 GB 显存；容量估算，未做设备实测。
Ornith-1.5-35B-A3B-GGUF：35B MoE 编码智能体长上下文
Ornith-1.5-35B-A3B 是 35B 混合专家（MoE）文本生成模型，每 token 激活约 3B 参数，面向编码与智能体任务，支持长上下文与工具调用。适合本地或私有化部署的开发者与 Agent 工程师。Q4_K_M 量化约需 20GB 内存或显存，长上下文推理建议多卡 GPU。
Q4_K_M · 建议预留 25.5 GB 显存；容量估算，未做设备实测。
Qwen-Image-2.1-Uncensored-Quantized：本地文生图与编辑的多格式量化模型
面向本地文生图与图像编辑工作流，提供基于 Qwen-Image-2.1 的 GGUF、Safetensors 和 MLX 量化文件。适合希望在 ComfyUI 中部署、且需要无内置安全过滤的成人创作者与研究者。硬件选择取决于量化：GGUF 最低约需 5 GB RAM、4.
Q4_0 · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-GGUF：少拒答中文对话与图文生成
这是基于 Qwen3.8-27B 的本地文本生成模型，支持中英文、262144 上下文并保留视觉能力；仓库通过移除拒答方向降低拒答率，但并非完全取消拒答。它提供多种 GGUF 量化与 MTP 文件，适合希望减少拒答、进行本地对话或图文任务的 27B 参数用户。最低档约需 12GB 以上内存与 10.
IQ2_M · 建议预留 12 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-GGUF：本地可跑的图文多模态量化版
这是 ggml-org 发布的 Qwen3.8-27B 的 GGUF 量化版本，基础模型 pipeline_tag 标注为 image-text-to-text，属于图文多模态模型，采用 Apache 2.0 协议。仓库提供 Q4_K_M、Q8_0 和 BF16 三种精度文件，对显存与内存有一定门槛。
Q4_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF：面向本地部署的多模态推理与创作
基于 Qwen3.5 的 9B 多阶段微调与合并模型，覆盖中英文等语言，面向通用问答、推理、代码、写作、角色扮演及图像理解，适合希望本地运行、低拒答的用户。仓库提供 Regular 与 MTP 两类 GGUF；IQ2_M 最低约需 6GB 内存、5GB 显存，Q4_K_M 建议约 10GB 内存、8.5GB 显存。
IQ2_M · 建议预留 6 GB 显存；容量估算，未做设备实测。
Tiel-Coder-35B-A3B-GGUF-MTP：面向代理编程的35B MoE量化版
基于 Ornith-1.5-35B-A3B 的 GGUF 量化分发，带训练后的 MTP 推测解码头与自建 imatrix，提供 Q2 至 Q8 八档与 BF16 视觉投影。主打代理式代码修复与多轮对话，中英双语，MIT 协议。
Q2_K_XL · 建议预留 15 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF：面向图文推理的本地对话模型
这是 27B 参数多模态模型，支持中英对话、推理及图像与视频理解，原生上下文为 262,144 token。Aggressive 版强调直接作答、较少拒答，适合本地长文档与代理任务。设备门槛随量化变化，最低 IQ2_M 文件约 10.32GB，建议准备 14.
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
Ternary-Bonsai-2-27B-gguf：让27B推理模型在本地低比特运行
这是基于 Qwen3.8-27B 的三值化 GGUF 文本生成模型，面向想在笔记本、单卡或离线环境运行 27B 参数推理、代码与工具调用的用户。PTQ1_0 文件约 5.95GB，最低内存估算 7GB；低比特版本依赖专用内核，Q2_0 需较新的主线 llama.cpp。
GGUF · 建议预留 7 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF：面向编码创作与深度推理的多模态模型
基于 Qwen3.8-27B 的多阶段微调模型，支持三档推理，面向编程、解题、创意写作、角色扮演和图文任务。模型卡强调缩短思考 token，并提供 Regular、MTP 两类 GGUF，适合本地开发与创作用户。支持主流 GGUF 工具本地运行；27B 参数对内存、显存要求较高，视觉输入另需 mmproj。
IQ2_M · 建议预留 14 GB 显存；容量估算，未做设备实测。
常见问题
RTX 4090 24GB 能运行哪些本地 AI 模型？
按24GB显存估算，当前有166个候选模型，其中162个存在建议容量也在预算内的版本。结果不代表设备实测。
24GB 显存应该选择什么量化？
适合高质量中型模型、较长上下文，以及部分 30B 级模型量化版本。优先选择建议显存低于设备容量的版本；接近下限时应缩短上下文，若减少GPU卸载层数还需足够系统内存。
最低显存和推荐显存有什么区别？
最低显存接近模型能够加载的估算下限，建议容量为运行框架、上下文 KV Cache 和系统占用保留余量，但不保证所有设置下都足够。接近下限并不等于能稳定高负载运行。
依据、更新方式与验证范围
选型方案编辑于2026年10月23日；候选文件与容量来自当前模型数据库，随同步更新。本站未对这些设备执行性能跑分，不提供固定tokens/s承诺。