MODEL DECISION LIBRARY
先看懂模型，再决定下载哪个量化。
先用用途与容量缩小范围，再核对量化质量、运行框架和上下文。显存数值是容量估算，能加载不等于运行流畅。
仅完整模型权重参与容量筛选；多模态投影文件、长上下文和系统占用还需额外预留。任务未分类的模型只在“全部任务”下展示。
Qwen3.8-27B-GGUF：面向本地部署的多模态推理与编程
Qwen3.8-27B-GGUF 提供 Qwen3.8-27B 的 GGUF 量化版本，基础模型面向编程、专业工作、研究及长链路智能体任务，并原生支持图像、视频理解和可开关思考。适合通过 Ollama、llama.cpp 或 LM Studio 在本地运行的用户。
IQ1_S · 建议预留 7.5 GB 显存；容量估算，未做设备实测。
Ornith-1.5-9B-GGUF：轻量代码与智能体推理模型
Ornith-1.5-9B 是一款面向终端编码与智能体场景的 9B 密集模型，在 Qwen3.5 与 Gemma4 基础上继续预训练并通过自改进循环优化。模型默认输出链式推理，支持工具调用与最长 262K 上下文，可经 YaRN 缩放扩展到约 1M tokens。
Q4_K_M · 建议预留 7 GB 显存；容量估算，未做设备实测。
Huihui-Qwen3.8-27B-abliterated-GGUF：面向本地实验的低拒答多模态模型
该仓库是基于Qwen/Qwen3.8-27B的27B参数消融版，提供GGUF量化、MTP变体及Ternary Bonsai分支，面向本地研究、内容生成和低拒答实验。普通IQ2至IQ3文件资料建议约11至14.5GB内存或9.5至12GB显存；Ternary文件需专用llama.
GGUF · 建议预留 8 GB 显存；容量估算，未做设备实测。
Ornith-1.5-35B-A3B-GGUF：35B MoE 编码智能体长上下文
Ornith-1.5-35B-A3B 是 35B 混合专家（MoE）文本生成模型，每 token 激活约 3B 参数，面向编码与智能体任务，支持长上下文与工具调用。适合本地或私有化部署的开发者与 Agent 工程师。Q4_K_M 量化约需 20GB 内存或显存，长上下文推理建议多卡 GPU。
Q4_K_M · 建议预留 25.5 GB 显存；容量估算，未做设备实测。
Qwen-Image-2.1-Uncensored-Quantized：本地文生图与编辑的多格式量化模型
面向本地文生图与图像编辑工作流，提供基于 Qwen-Image-2.1 的 GGUF、Safetensors 和 MLX 量化文件。适合希望在 ComfyUI 中部署、且需要无内置安全过滤的成人创作者与研究者。硬件选择取决于量化：GGUF 最低约需 5 GB RAM、4.
Q4_0 · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-GGUF：少拒答中文对话与图文生成
这是基于 Qwen3.8-27B 的本地文本生成模型，支持中英文、262144 上下文并保留视觉能力；仓库通过移除拒答方向降低拒答率，但并非完全取消拒答。它提供多种 GGUF 量化与 MTP 文件，适合希望减少拒答、进行本地对话或图文任务的 27B 参数用户。最低档约需 12GB 以上内存与 10.
IQ2_M · 建议预留 12 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-GGUF：本地可跑的图文多模态量化版
这是 ggml-org 发布的 Qwen3.8-27B 的 GGUF 量化版本，基础模型 pipeline_tag 标注为 image-text-to-text，属于图文多模态模型，采用 Apache 2.0 协议。仓库提供 Q4_K_M、Q8_0 和 BF16 三种精度文件，对显存与内存有一定门槛。
Q4_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF：面向本地部署的多模态推理与创作
基于 Qwen3.5 的 9B 多阶段微调与合并模型，覆盖中英文等语言，面向通用问答、推理、代码、写作、角色扮演及图像理解，适合希望本地运行、低拒答的用户。仓库提供 Regular 与 MTP 两类 GGUF；IQ2_M 最低约需 6GB 内存、5GB 显存，Q4_K_M 建议约 10GB 内存、8.5GB 显存。
IQ2_M · 建议预留 6 GB 显存；容量估算，未做设备实测。
Tiel-Coder-35B-A3B-GGUF-MTP：面向代理编程的35B MoE量化版
基于 Ornith-1.5-35B-A3B 的 GGUF 量化分发，带训练后的 MTP 推测解码头与自建 imatrix，提供 Q2 至 Q8 八档与 BF16 视觉投影。主打代理式代码修复与多轮对话，中英双语，MIT 协议。
Q2_K_XL · 建议预留 15 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF：面向图文推理的本地对话模型
这是 27B 参数多模态模型，支持中英对话、推理及图像与视频理解，原生上下文为 262,144 token。Aggressive 版强调直接作答、较少拒答，适合本地长文档与代理任务。设备门槛随量化变化，最低 IQ2_M 文件约 10.32GB，建议准备 14.
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
Ternary-Bonsai-2-27B-gguf：让27B推理模型在本地低比特运行
这是基于 Qwen3.8-27B 的三值化 GGUF 文本生成模型，面向想在笔记本、单卡或离线环境运行 27B 参数推理、代码与工具调用的用户。PTQ1_0 文件约 5.95GB，最低内存估算 7GB；低比特版本依赖专用内核，Q2_0 需较新的主线 llama.cpp。
GGUF · 建议预留 7 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF：面向编码创作与深度推理的多模态模型
基于 Qwen3.8-27B 的多阶段微调模型，支持三档推理，面向编程、解题、创意写作、角色扮演和图文任务。模型卡强调缩短思考 token，并提供 Regular、MTP 两类 GGUF，适合本地开发与创作用户。支持主流 GGUF 工具本地运行；27B 参数对内存、显存要求较高，视觉输入另需 mmproj。
IQ2_M · 建议预留 14 GB 显存；容量估算，未做设备实测。
Ornith-1.0-35B-GGUF：面向代理编码的轻量推理模型
Ornith-1.0-35B 是 35B 参数规模的自改进代理编码模型家族成员，针对单卡部署优化。适合需要在本地或私有化环境运行编码代理、调用工具并完成代码理解与改写任务的开发者与团队。Q4 量化需约 18GB 显存或 20.5GB 内存，硬件门槛偏高，入门级消费显卡通常难以承载。
Q4_K_M · 建议预留 24.5 GB 显存；容量估算，未做设备实测。
gemma-4-12b-it-GGUF：本地多模态对话与推理
由 Unsloth 发布的 Gemma 4 12B 指令微调量化版本，支持文本、图像和音频输入并输出文本，适合在消费级显卡或笔记本上做多模态对话、推理、编码与 OCR 任务。预训练覆盖 140 多种语言，长上下文可达 256K。
IQ2_M · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-GSQ-RCO-GGUF：面向多模态推理的本地量化模型
这是 Qwen3.8-27B 的 GSQ-RCO 非均匀 GGUF 量化仓库，提供视觉投影器，可用于图文对话、推理与代码任务。IQ3_S 是模型卡推荐档，11.8 GB；普通版本建议 16.5 GB RAM 或 14 GB 显存，低配可选 IQ2_XS，8.4 GB。
IQ2_XS · 建议预留 10 GB 显存；容量估算，未做设备实测。
Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF：27B长任务代理编程精简量化
这是基于 Qwen3.8-27B 后训练的 Swift 1.5 GGUF 量化版本，面向长周期、代理式与编程类文本生成，主打更少思考令牌。提供 IQ2 到 IQ3 四档混合精度，已列变体文件 6.75GB 至 10.125GB；IQ2_S-mtp 最低约 8GB 内存可加载，IQ3_S-mtp 推荐约 14.
IQ2_XS · 建议预留 10 GB 显存；容量估算，未做设备实测。
Dirk-Qwen3.8-27B-GGUF：精简模板默认的27B视觉语言模型
Dirk 是基于 Qwen3.8-27B 的 27B 视觉语言 GGUF 量化版本，原生支持图像输入并保留 MTP 多 token 预测投机解码头，推理档位可在 low、medium、xhigh 间切换，适合需要在消费级显卡上做代码、视觉问答和知识型任务的中高级本地用户。
IQ2_XS · 建议预留 10.5 GB 显存；容量估算，未做设备实测。
Qwen3.6-35B-A3B-GGUF：35B 多模态代理编程与长文档模型
Qwen3.6-35B-A3B 是千问首个开源权重的 35B 多模态 MoE 大模型，总参数 35B、激活 3B，支持文本、图像与视频输入，原生 26 万 token 上下文可扩展至百万级。模型卡强调智能体编码、工具调用与思维链保留能力。适合需要本地代理编程、长文档问答和视觉理解的开发者与研究者。可通过 llama.
IQ1_M · 建议预留 12 GB 显存；容量估算，未做设备实测。
nemotron-3.5-asr-streaming-0.6b：0.6B 参数多语种流式语音转文字模型
NVIDIA 推出的 0.6B 参数多语种流式语音识别模型，基于缓存感知 FastConformer-RNNT 架构，原生支持 40 种语言-地区转录，可配置 80 毫秒到 1120 毫秒分块以在延迟与精度间权衡。适合需要多语种实时字幕、语音代理、跨语种转写或多语种批量转录的开发者与团队，输出自带大小写与标点。
Q8_0 · 建议预留 2 GB 显存；容量估算，未做设备实测。
DeepSeek-V4.1-Flash-1017-GGUF：面向长上下文推理与多模态应用
DeepSeek-V4.1-Flash-1017-GGUF 面向推理、编程、智能体及图文理解任务，模型卡标注支持图像输入与 1M token 上下文，适合需要长文本、工具调用或视觉内容处理的本地用户。仓库提供多种 GGUF 量化；小型 Q8_0 约需 9.5 GB RAM，多数超低比特版本则需要数百 GB 内存或显存。
Q8_0 · 建议预留 10 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF：面向成人创作的低拒答文本生成模型
这是基于 Qwen3.8-27B 的 27B 参数低拒答文本生成模型，面向18岁以上成人，用于创作、角色扮演与研究。当前清单提供 IQ1、IQ2 系列 GGUF，最低建议约10GB内存或8.5GB显存；实际还需为KV缓存和运行缓冲留出余量。
IQ1_S · 建议预留 8.5 GB 显存；容量估算，未做设备实测。
Qwen3.6-35B-A3B-MTP-GGUF：面向智能体编码的多模态MoE
这是Qwen3.6-35B-A3B的多token预测GGUF量化版，总参数35B、激活约3B，原生26.2万token上下文并可扩展至约101万。模型具备视觉编码与智能体编码能力，强调工具调用与思考上下文保留。适合本地部署智能体助手或多模态应用的进阶用户，最低IQ1_M可在约4.
IQ1_M · 建议预留 13.5 GB 显存；容量估算，未做设备实测。
gemma-4-26B-A4B-it-GGUF：本地推理多模态MoE对话模型
Google Gemma 4 26B A4B 是 MoE 架构的多模态模型，总参数 26B、激活约 4B，支持文本与图像输入、文本输出，256K 上下文窗口，覆盖 140 多种语言。适合在消费级 GPU 或工作站做本地对话、代码、推理与图文理解。Apache 2.
IQ2_XXS · 建议预留 11.5 GB 显存；容量估算，未做设备实测。
Cyber-Tiel-Coder-35B-A3B-GGUF-MTP：面向代理式编程与网络安全任务的MoE模型
这是面向代理式编程与网络安全任务的 35B-A3B MoE 量化模型，基于移除拒绝机制的 Ornith 变体，提供 MTP 推测解码与可选视觉投影器。适合中英文用户，以及有较高内存或显存、能隔离运行环境的开发者；16GB 级设备可选 3bit，24GB 级设备更适合 4bit。
Q2_K_XL · 建议预留 15 GB 显存；容量估算，未做设备实测。
MiMo-V2.6-Distill-Qwen-9B-GGUF：9B 蒸馏多模态与代理任务底座
MiMo-V2.6-Distill-Qwen-9B 由小米 MiMo 团队蒸馏自 Qwen，主打 9B 参数级的代理、工具调用与代码任务，并支持图文输入。适合想在本地跑 Agent、调用工具或做代码生成的开发者与爱好者。
IQ2_M · 建议预留 5 GB 显存；容量估算，未做设备实测。
Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced：去审查多模态长上下文编程写作模型
基于 Gemma4 12B 的去审查衍生版本，保留图像识别与 256K 长上下文，面向代理式编程、推理与创意写作调优。Q4_K_M 文本权重为仓库标定的甜点量化，附加 mmproj 视觉投影器后建议约 10GB 显存与 10GB 内存起步。需要长上下文、无明显拒答偏置或本地图片问答能力的开发者与创作者可直接试用。
Q4_K_M · 建议预留 9 GB 显存；容量估算，未做设备实测。
ThinkingCap-Qwen3.8-27B-GGUF：27B视觉推理精简思考量化版
基于Qwen3.8-27B的视觉语言模型GGUF量化版本，27B参数，支持图像输入与精简思考模式，平均削减37%推理token并保持85.8%综合准确率。适合需要本地部署多模态对话、复杂推理与token效率优化的用户。最低16GB内存可加载IQ4_XS或Q4_K_M，f16需20GB以上内存与17GB以上显存。
IQ4_XS · 建议预留 18.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-NVFP4-MTP-GGUF：多模态长上下文九档量化
这是 Qwen3.8-27B 原生视觉语言模型的 GGUF 多档位量化合集，主干采用 NVFP4 格式并嵌入 MTP 推测解码头，原生支持 262K 长上下文与图像视频识别。适合想在单张或双张 16 GB Blackwell 显卡上跑 27B 多模态模型的开发者和长上下文研究者。
GGUF · 建议预留 17.5 GB 显存；容量估算，未做设备实测。
Qwen-Image-2.1-Turbo-Uncensored-GGUF：本地文生图编码器与少拒答聊天模型
该仓库提供 Qwen3-VL-8B-Instruct 文本编码器的 GGUF 量化版，用于配合独立的 Qwen-Image-2.1 图像去噪器生成图片，也可在配置 mmproj 后用于图像理解聊天。资源紧张可选 AD-Q2_K，容量充足优先 Q8_0 或 BF16；完整架构与上下文长度，模型卡未说明。
Q2_K · 建议预留 4.5 GB 显存；容量估算，未做设备实测。
Sharp-Spark-X2.5-4B-GGUF：小显存长上下文编程模型
Sharp-Spark-X2.5-4B-GGUF 是 4B 参数稠密长上下文编程模型的 GGUF 量化版，混合注意力架构让 6GB 显存的家用 GPU 也能跑出可用速度。面向安全与系统代码方向，使用 Sharp-Spark 模板并支持工具调用。
Q4_K_XL · 建议预留 4 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-AP-GGUF：27B多模态贴近BF16的高保真量化
基于 Qwen3.8-27B 的图文多模态 GGUF 量化包，提供从 IQ2 到 BF16 的多档位并附带视觉投影器。Agention Precision 用自定义编码器声称同体积下比公开量化更接近官方 BF16 权重。
IQ2_S · 建议预留 11.5 GB 显存；容量估算，未做设备实测。
Underdog-Saluki-27B-1.0：面向工具调用与智能体的轻量本地模型
基于 Qwen3.8-27B 的 27B 参数文本生成模型，重点保留工具调用、并行调用与智能体能力，并支持按请求切换思考。官方提供约 7.89 GB 的 IQ2 GGUF，最低建议为 8 GB 显存或 9.5 GB 内存；需要图像输入时另加视觉投影文件。适合具备一定内存或显存、希望本地运行工具型模型的个人用户。
IQ2 · 建议预留 9.5 GB 显存；容量估算，未做设备实测。
Qwen3.5-9B-Uncensored-HauhauCS-Aggressive：9B多模态去审查对话模型
基于Qwen3.5-9B的9B参数混合架构模型，采用线性注意力与全注意力3:1组合，作者称移除安全审查并保留原始多模态能力，支持文本、图像、视频输入及原生262K上下文。适合需要无限制生成的中文及多语言用户，需2026年3月后较新llama.cpp版本。Q4_K_M量化推荐8GB内存，Q8需13GB以上。
Q4_K_M · 建议预留 7 GB 显存；容量估算，未做设备实测。
LFM2.5-2.6B-GGUF：本地部署的多语言轻量文本生成模型
LFM2.5-2.6B-GGUF 是 LiquidAI 推出的 2.6B 参数混合架构模型，专为设备端部署设计，支持中文在内的十余种语言文本生成。适合想在笔记本、低配台式机或边缘设备上离线运行轻量语言模型的用户，最低 4GB 内存即可加载 Q4 量化版本，对独立显卡依赖较低。
Q4_0 · 建议预留 3 GB 显存；容量估算，未做设备实测。
Muse-Glimmer-30B-GGUF：本地部署的多模态智能体模型
Muse-Glimmer-30B 是 Meta 推出的 30B 参数多模态语言模型，专为本地智能体任务设计，集成多步推理、工具调用、失败恢复和图文理解能力。通过 4-bit 量化可压缩到 24–32GB 显存运行，适合需要在本地搭建自主代理、代码助手或多模态应用的研究者和开发者，使用门槛中等偏高。
GGUF · 建议预留 3 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Turbo-Brilliance-50X-Reasoning-Instruct-NEO-MAX-MTP-GGUF：面向本地部署的多模式推理与创作模型
这是基于 Qwen3.8-27B 的 27B 参数 GGUF 推理与指令模型，提供可切换模式、交互式帮助及 AI Construct 角色能力。适合本地对话、创作、提示词、编码和工具代理用户。仓库含 IQ2 至 IQ4 量化及 MTP、NEO MAX 版本；最低资源估算为 10GB 内存、8.
IQ2_XS · 建议预留 10 GB 显存；容量估算，未做设备实测。
Qwen3.8-4B-Distill-GGUF：4B 蒸馏推理模型量化包
Qwen3.8-4B-Distill 是把 Qwen3.8 2.4T A95B 大模型蒸馏到 Qwen3.5-4B 架构而来的 4B 参数推理模型，本仓库为 GGUF 量化版。适合想在消费级硬件上本地跑推理模型、又不愿承担大模型显存开销的用户。属于 Qwen3.
Q4_K_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
Qwen-Image-2.1-viggle-turbo：6步极速文生图与参考图编辑
Viggle 基于 Qwen-Image-2.1 蒸馏出的 7.1B 参数文生图与图像编辑适配器，6 步即可出图且无需 CFG。仓库提供 LoRA 工作流与合并版 GGUF 单文件，Q4 至 Q8 量化文件覆盖约 4–8.5 GB 显存区间。
Q4_K_M · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-OBLITERATED：去审查红队研究专用大模型
基于Qwen3.8-27B的去审查27.8B参数文本生成模型，通过迭代权重手术移除硬拒答与软偏转，适合AI安全研究、对齐测试和本地控制用户。提供Q2到Q8_0共八种GGUF量化，Q2_K最低约7GB显存可加载，Q4_K_M推荐16GB显存或19.5GB内存。
Q2_K · 建议预留 13 GB 显存；容量估算，未做设备实测。
Qwen3.8-9B-Distill-GGUF：蒸馏9B推理模型的GGUF量化版
基于 Qwen3.5-9B 架构蒸馏自 Qwen3.8 教师模型，主打推理能力，MMLU 提升明显。提供 Q4 到 BF16 多档 GGUF 量化，9B 参数量适合消费级显卡和笔记本本地运行。注意这是 Gated DeltaNet 混合架构，需使用较新的 llama.cpp（支持 Qwen3.
Q4_K_M · 建议预留 7 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-Cyber-GGUF：27B去审查的网络安全图文问答
Qwen3.8-27B-Uncensored-Cyber 是 27B 参数去审查微调版本，聚焦网络安全与攻防话题，可搭配 mmproj 视觉投影器实现图文输入。仓库提供 Q4–Q8 多档 GGUF 量化，16GB 内存即可加载 Q4，适合需要完整回答敏感安全话题、对指令审查容忍度低的研究者与红队演练。
Q4_K_M · 建议预留 22.5 GB 显存；容量估算，未做设备实测。
POCKET-35B-GGUF：CPU可跑的35B本地对话模型
POCKET-35B-GGUF 是 35B 参数的稀疏 MoE 对话模型，由 Darwin-36B-Opus 量化而来，主打无显卡本地运行。适合没有 GPU、做日常对话与写作辅助的本地用户。最低 IQ1_M 约 8 GB 可装入 16 GB 内存设备，Q2_K 推荐 12.5 GB 内存，Q4_K_M 推荐 24.
IQ1_M · 建议预留 10 GB 显存；容量估算，未做设备实测。
Ternary-Bonsai-27B-gguf：27B三元量化笔记本可跑的长文本推理模型
Ternary Bonsai 27B 是基于 Qwen3.6-27B 的三元权重量化版本，部署约 7.2 GB，可在 8 GB 内存的笔记本上加载运行，保留数学、代码与思维链等核心推理能力，原生支持 262K 长上下文。
Q4_1 · 建议预留 3 GB 显存；容量估算，未做设备实测。
Swift-Qwen3.8-27B-GGUF：多模态推理加速版
Swift-Qwen3.8-27B-GGUF 是 Qwen3.8-27B 的推理高效量化版本，通过抑制过度思考标记大幅缩短推理链，能力接近原版。原生支持图像输入、多 token 预测与超长上下文，适合代码生成、复杂推理与多模态问答。
IQ2_XXS · 建议预留 11 GB 显存；容量估算，未做设备实测。
Spark-X2.6-4B-GGUF：面向端侧代理与代码任务
Spark-X2.6-4B-GGUF 是面向端侧部署的中英双语文本生成模型，适合本地代理、代码辅助和日常对话。模型卡称其增强了编码、工具调用、多步规划、长上下文与多语言推理，并提供三档思考预算。仓库含 Q4_K_M、Q8_0 和未量化 GGUF；资源有限时优先考虑 Q4_K_M。
Q4_K_M · 建议预留 5 GB 显存；容量估算，未做设备实测。
Qwen3.8-2B-Distill-GGUF：手机可跑的 2B 蒸馏推理量化版
该仓库是 empero-ai/Qwen3.8-2B 的官方 GGUF 量化合集，对应 2B 参数的蒸馏推理模型，主打文本生成与思考型回答。适合想在手机、单板机、轻薄本上离线运行轻量对话的中文及英文用户，CPU 即可起步。Q4 量化约 1.3 GB，本地门槛低。注意需较新 llama.cpp 以支持 Qwen3.
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF：去审查强化推理全能型
基于Qwen3.6-27B多阶段微调并经Heretic去审查，强化思考推理、指令跟随与通用能力，支持视觉与长上下文。27B体量对显存门槛较高，Q4量约需16GB显存、Q8需30GB以上，适合中文高级用户与本地推理爱好者使用MTP可进一步提速。
IQ2_M · 建议预留 14 GB 显存；容量估算，未做设备实测。
Ornith-1.5-35B-A3B-APEX-MTP-GGUF：内置MTP草稿头的视觉MoE量化
Ornith-1.5-35B-A3B 是一份 35B 规模的视觉语言 Mixture-of-Experts 模型，提供四种 APEX GGUF 量化并自带 MTP 推测解码草稿头，可在同一文件内启用自推测解码。最小 I-Mini 版约 14.4 GB，消费级 16 GB 显卡即可尝试；最高 Quality 版约 23.
GGUF · 建议预留 17 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2：面向中文推理与代码任务的27B多模态模型
这是基于 Qwen3.8-27B 继续进行多轮 SFT 与 RLOO 的 27B 参数多模态模型，重点强化代码、推理并减少无效续写，模型卡称可处理文本、图像与视频。适合中文用户做编程、复杂问答和多模态交互；本地部署需按 GGUF 量化选择，Q2、Q3 更适合资源较紧的设备，Q4 及以上需要更多内存或显存。
Q2LYNNSTYLE · 建议预留 15.5 GB 显存；容量估算，未做设备实测。
Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP：去审查多模态长文推理与创作
基于 Google Gemma 4 26B-A4B 的去审查微调版本，26B 总参数配 4B 激活 MoE 架构，原生支持 256K 上下文与图像输入。适合需要开放式回答的智能体编程、创意写作、角色扮演与长文档推理用户，建议单卡约 16 GB 显存或 18.5 GB 内存起步，搭配 MTP 草稿头可在 llama.
Q4_K_M · 建议预留 19.5 GB 显存；容量估算，未做设备实测。
Spark-X2.5-4B-GGUF：4B 紧凑多语长上下文对话模型
Spark-X2.5-4B 是 4B 参数的通用紧凑型语言模型，覆盖 200+ 语言并支持最高 1M token 原生上下文，适合对话、写作、翻译、推理、编程与代理工作流。本仓库为 GGUF 量化版本，可在 Ollama、LM Studio、llama.
Q4_K_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF：面向本地推理与工具调用的9B模型
该仓库提供9B 参数静态 GGUF，标签覆盖中英等多语文本生成、推理、数学、科学、工具与函数调用，适合想在个人设备本地运行文本任务、并接受较低内存占用的中文用户。Q4_K_S 与 Q4_K_M 文件约5.5GB、5.7GB，仓库标注为快速且推荐；实际速度与效果未说明。
Q2_K · 建议预留 5 GB 显存；容量估算，未做设备实测。
Qwythos-9B-Claude-Mythos-5-1M-GGUF：百万上下文推理视觉多模态
基于 Qwen3.5-9B 的全参数推理模型，支持原生函数调用、图像理解与百万 token 长上下文，适合需要长文分析、工具调用与网络安全、生物医药等技术问答的用户。Q4 量化可在 8GB 内存或 6GB 显存设备运行，启用完整 1M 上下文通常需要多卡或 KV-cache 卸载。
Q4_K_M · 建议预留 7 GB 显存；容量估算，未做设备实测。
Qwythos-9B-v2-GGUF：9B推理多模态长上下文模型
Qwythos-9B-v2-GGUF 是基于 Qwen3.5-9B 的 9B 参数 GGUF 量化推理模型，通过 FTPO 训练消除了低温度解码下的循环重复，恢复 MTP 头并保留多模态视觉塔。支持 1M token 长上下文，推理时先输出思考块再作答。
Q4_K_M · 建议预留 7 GB 显存；容量估算，未做设备实测。
Qwen3.5-4B-3D-Coder：面向网页三维场景与通用代码生成
这是一款基于 Qwen/Qwen3.5-4B 的独立微调预览模型，重点生成 Three.js 交互式三维场景，也尝试通用编码。适合网页 3D 原型、创意编程及视觉参考辅助。仓库提供 Q4_K_M、Q8_0 GGUF：最低约需 4GB/5.
Q4_K_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF：低显存本地编码代理与工具调用
基于 google/gemma-4-12B-it 微调的 12B 文本生成模型，专注编码、终端与多步 Agentic 工具调用任务。Q3 量化约 4.5GB，可在约 5GB VRAM 的低配机器运行本地私有代理，Q4_K_M 被作者标为推荐甜点。通用知识略低于基模，英语为主，未做安全对齐，按 Apache 2.
Q3_K_M · 建议预留 7.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-DFlash2-GGUF：块扩散加速草稿模型
这是 Qwen3.8-27B 的 DFlash 2 推测解码草稿模型镜像，并非可独立运行的对话模型，必须搭配 Qwen3.8-27B 目标主模型在 llama.cpp 推测解码服务内使用，通过块扩散一次预测多个 token 提升生成速度。适合已在本地部署 Qwen3.
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF：冷融合加速推理创作全能模型
基于 Qwen3.8-27B 的第三方冷融合微调 GGUF 仓库，使用 GAIN 加 Unsloth 复合训练方法，号称 4bit 量化可保留近 99% BF16 性能，思考 token 压缩至常规版的 1/2 至 1/10。
IQ2_M · 建议预留 14 GB 显存；容量估算，未做设备实测。
Qwen3.6-14B-A3B-FableVibes-GGUF：14B推理蒸馏的消费级长思维模型
Qwen3.6-14B-A3B-FableVibes 由 Qwen3.6-35B-A3B 经 REAP 剪枝到 14B 活跃参数，再用 Claude Fable 5 推理痕迹做 QLoRA 蒸馏得到。回答前会输出思考 token，适合中文写作、编程与多步规划。Q3_K_M 至 Q4_K_M 即可在消费级显存上跑通。
Q2_K · 建议预留 6.5 GB 显存；容量估算，未做设备实测。
humanizer：中英文稿件自然化改写助手
humanizer 是基于 Gemma 4 12B 微调的 12B 参数中英文文本改写模型，面向希望把邮件、文章、报告和论坛草稿改得更像自然人稿的中文用户。它可本地离线运行，但应复核数字、日期和姓名；不同 GGUF 版本对内存与显存要求差异明显。
IQ2_XS · 建议预留 5 GB 显存；容量估算，未做设备实测。
Ornith-1.5-9B-OBLITERATED：移除安全层的9B文本生成
Ornith-1.5-9B-OBLITERATED 是 Ornith-1.5-9B 的去安全对齐版本，基于 Qwen3.5 混合架构，含 9B 参数与视觉编码器。面向研究、红队测试与安全分析用户，强调代码与推理能力，但 MMLU 较原版下降约 4 个百分点。
Q2_K · 建议预留 5 GB 显存；容量估算，未做设备实测。
Bonsai-27B-gguf：27B模型一比特极限压缩本地可跑
本仓库是prism-ml基于Qwen3.6-27B的1比特二值化GGUF量化版本，把27B参数混合注意力模型压到约3.9GB（每权重1.125bit），主打长文本对话、代码生成与本地离线推理。适合在普通笔记本、单卡GPU或手机上跑27B级模型的用户，最低约4GB内存即可加载主语言模型，附带视觉塔可处理图像输入。
Q4_1 · 建议预留 3 GB 显存；容量估算，未做设备实测。
Qwopus3.6-35B-A3B-Coder-MTP-GGUF：思考关闭的本地编码代理模型
基于 Qwen3.6-35B-A3B 的稀疏 MoE 编码微调模型，总参数 35B、激活约 3B，专为关闭长思考的代理式编码流程设计，擅长多轮工具调用、仓库级调试与多文件补丁生成。
Q3_K_M · 建议预留 20 GB 显存；容量估算，未做设备实测。
LFM3-1.7B-GGUF：轻量多语言文本生成的本地部署
LFM3-1.7B-GGUF 是 1.7B 参数模型的 GGUF 本地推理版本，面向文本生成和多语言文本任务，支持 CPU、GPU 以及多种本地运行工具。Q4、Q5、Q6 文件最低约需 4GB 内存和 1.5GB 显存，建议配置 8GB 内存，适合设备资源有限、重视部署灵活性的中文用户。
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-i1-GGUF：本地多语种推理与工具调用
该仓库是 9B 参数模型的 GGUF 量化版，主打多语种文本生成、推理、数学与工具调用，模型卡同时标注为视觉模型。适合想在本地运行并接受低量化取舍的中文用户。最低约需 4GB 内存与 3GB 显存；更稳妥的量化组合约需 8GB 内存和 4.5GB 显存。
IQ1_S · 建议预留 4 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-GGUF：27B 多模态中文对话量化版
本仓库为 Qwen3.8-27B 的 llama.cpp GGUF 量化版本，支持中英文文本生成、图文理解、MTP 推测解码与工具调用。提供 IQ2 到 Q8_0 全套量化以及 BF16 原版，适合本地高显存用户追求质量、低显存用户追求可用。
IQ2_XXS · 建议预留 10.5 GB 显存；容量估算，未做设备实测。
Tiel-Coder-35B-A3B-GGUF：面向编码与多轮对话的35B MoE
Tiel-Coder-35B-A3B 是 Ornith-1.5-35B-A3B 的自量化 GGUF 版，采用 256 专家 8 激活的 MoE 架构，主打代理式编码与多轮对话，同时支持视觉输入。在 SWE-bench-Live 修复 12/25 题，但 MMLU-Pro 仅 73.7，弱于 Nail 等同档对手。
Q2_K_XL · 建议预留 14.5 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF：面向本地语音助手与设备代理
该模型为 8B 参数（4B 有效参数）的文本生成 SLM，面向本地语音助手、设备助手、交互角色及嵌入式接口，强化多轮工具调用、指令遵循和输入落地。提供 64K 上下文及多种 GGUF 量化，适合约 8GB 内存或 6.5GB 显存配置的本地用户；BF16 版本资源门槛更高。
Q8_0 · 建议预留 2 GB 显存；容量估算，未做设备实测。
LFM3-Omni-2B-GGUF：面向端侧的多模态交互助手
LFM3-Omni-2B 是面向端侧的多模态模型，可理解文本、图像、视频与音频，并用文本和语音回答，适合需要本地图文、音视频或语音交互的用户。GGUF 提供多种量化，资源需求较低；实际模态支持取决于运行工具、版本及投影文件是否可用。
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Ridge-GGUF：原生MTP加速的多模态27B量化版
这是 Qwen3.8-27B 的 GGUF 量化仓库，主打 11.73 GiB 的 Ridge 3.69 bpw 混合精度文件，并保留原生 MTP 草稿头以支持推测解码。基础模型为支持视觉输入的多模态推理模型，原生 262k 上下文可经 YaRN 扩展到 1M。
GGUF · 建议预留 15 GB 显存；容量估算，未做设备实测。
Qwen-AgentWorld-35B-A3B-GGUF：智能体环境模拟世界模型
Qwen-AgentWorld-35B-A3B 是原生语言世界模型，专注智能体环境模拟，覆盖 MCP 工具调用、搜索、终端、SWE、Android、Web、OS 七个交互域，通过长链思维推理预测下一环境状态。适合智能体框架研究者、AgentWorldBench 评测用户及多工具调用 Agent 系统开发者使用。
IQ2_M · 建议预留 14 GB 显存；容量估算，未做设备实测。
Qwopus3.6-27B-Fusion-GGUF：融合推理与代码的27B一站式代理
Qwopus3.6-27B-Fusion-GGUF 为 27B 融合模型，把推理稳定性与代码生成能力合二为一，面向希望一位代理完成规划、写码、自修闭环的本地用户。Q4_K_M 量化约 16GB 显存起跑，推荐 24GB 以上显卡，支持图像输入。适合玩单文件应用、研究任务向量融合的本地开发者与代理式编程实验者。
Q3_K_M · 建议预留 16 GB 显存；容量估算，未做设备实测。
Swift-1.5-Qwen3.8-27B-GGUF：精简思考的高效推理模型
Swift 1.5 是 Qwen3.8-27B 的推理高效后训练改版，比原版减少约 58% 思考 token、准确率持平。强化编程与长程 Agent 任务，适合代码生成、终端工具调用与数学推理。提供 IQ2 到 Q8_0 多档 GGUF 量化，8GB 内存可加载，Q4 及以上适合 16–24GB 显存设备。
IQ2_XXS · 建议预留 10.5 GB 显存；容量估算，未做设备实测。
Qwythos-27B-v1-GGUF：百万上下文多模态推理模型
基于 Qwen3.5-27B 的 27B 参数稠密混合模型，保留原生 MTP 推理头、视觉塔与 1,048,576 token 长上下文能力，支持图像输入、工具调用与代理式任务。适合需要本地部署大尺寸推理模型、有较高显存或内存预算的研究者与开发者。
Q4_K_M · 建议预留 20 GB 显存；容量估算，未做设备实测。
flint-GGUF：面向代码智能体的本地量化选择
Flint 是编程智能体 MoE 模型，适合代码库排查、修复缺陷、实现功能和编写测试，支持推理与工具调用。总参数 39.8B，每 token 约激活 2.5B。仓库提供 GGUF 量化，可使用 Ollama、llama.cpp 或 LM Studio；显存估算从 11.5 GB 到 80.5 GB。
IQ1_M · 建议预留 13.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF：面向多模式对话与推理创作
27B 参数文本生成 GGUF，以移除拒答的权重和内置聊天模板提供约 40 种推理、角色与教学模式，适合本地多模式对话与创意写作。IQ4_XS 约 15.7 GB，Q6_K_P 约 25.9 GB，另有 0.9 GB FastMTP 草稿；完整模型需按文件估算配置内存或显存。
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
hyperflow-h3-flash：中文视频与立体声快速生成
hyperflow-h3-flash 是 MiniMax-H3 的压缩少步衍生模型，可生成 5.2–15 秒视频及同步 32 kHz 立体声音轨，支持文生视频、首尾关键帧和参考素材。适合有消费级 NVIDIA GPU、希望本地生成音画内容的创作者；GGUF 虽提供较小权重，但完整运行还需文本编码器与音视频 VAE。
Q3_K_M · 建议预留 9 GB 显存；容量估算，未做设备实测。
TwIL-LM3：3B参数形式逻辑推理专用模型
TwIL-LM3 是基于 SmolLM3-3B 微调的 3B 参数形式逻辑推理模型，专注一阶逻辑翻译、蕴涵判定、语义解析、Lean 形式化与证明评审等结构化任务。适合需要机器可读符号化推理输出的研究者与本地推理开发者，硬件门槛低，Q4_K_M 量化可在 4GB 显存或纯 CPU 起步。
Q4_K_M · 建议预留 3 GB 显存；容量估算，未做设备实测。
gemma-4-12B-it-qat-GGUF：12B多模态本地量化指令版
Gemma 4 12B 统一架构指令调优版本，支持文本、图像与音频输入，输出仅文本，原生 256K 上下文，内置可配置思考模式与原生函数调用。Unsloth 提供 QAT 量化 GGUF 并附带 MTP 投机解码草稿模型，兼容 llama.cpp、Ollama 与 LM Studio。
Q4_K_XL · 建议预留 8 GB 显存；容量估算，未做设备实测。
Agents-A1-4B-Q8_0-GGUF：4B 视觉智能体本地小钢炮
Agents-A1-4B-Q8_0-GGUF 是 InternScience 开源的 4B 视觉语言 Agent 模型，专注长程搜索、工具调用与多约束指令遵循，附带 mmproj GGUF 支持图文输入。Q8_0 主文件约 4GB，最低 5GB 内存或 4.5GB 显存，推荐 8GB 内存或 5.5GB 显存。
Q8_0 · 建议预留 6 GB 显存；容量估算，未做设备实测。
MiniCPM-V-4.7-35B-A3B-gguf：端侧多模态视觉语言量化版
MiniCPM-V-4.7-35B-A3B 的 GGUF 量化版本，是 MiniCPM-V 系列首个 MoE 多模态模型，支持单图、多图、视频理解、OCR、PDF 解析与视觉定位等任务。35B 总参数仅激活约 3B，结合前瞻专家调度与细粒度分层量化，主打端侧流畅推理。
F16 · 建议预留 2 GB 显存；容量估算，未做设备实测。
gemma-4-26B-A4B-it-qat-GGUF：面向图文与长上下文的26B MoE量化版
gemma-4-26B-A4B是Google DeepMind推出的多模态指令模型，总参数25.2B、激活约3.8B的MoE架构，支持256K长上下文、图文理解、可配置思考模式与原生函数调用。Unsloth在此基础上发布QAT量化GGUF仓库，Q4_0可在16GB级消费GPU本地运行。
Q4_K_XL · 建议预留 16.5 GB 显存；容量估算，未做设备实测。
MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF：1B 本地思考模型工具调用增强版
基于 MiniCPM5-1B 的 1B 参数本地化文本生成模型，V2 版本相比 V1 强化工具调用与函数调用能力，支持思考模式推理与最长 128K 上下文，兼顾中英文对话、代码生成和指令跟随。适合想要在笔记本或低显存设备上本地跑一个能调用工具、能写代码的小模型的用户。
Q8_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF：本地1B轻量思维链代码模型
面向本地部署的 1B 参数轻量文本生成模型，基于 MiniCPM5-1B 在 Fable 5 数据上微调，支持思维链推理、代码生成与指令跟随，上下文最长 128K tokens。适合硬件受限、需要离线跑思维链问答或编程任务的个人开发者，最低 4GB 内存即可加载 Q4 量化版本，无需高端显卡。
Q4_K_M · 建议预留 2 GB 显存；容量估算，未做设备实测。
Mellum2.1-12B-A2.5B-Thinking-GGUF：JetBrains 思维链推理 GGUF 量化版
JetBrains 发布的混合专家推理模型 GGUF 量化版本，总参数 12B、单次激活 2.5B，输出前会在 think 块中展示完整思维链。仓库支持 131,072 token 长上下文，覆盖 Q4_K_M 到 BF16 五种 GGUF 变体。模型卡语言标签仅列 en，中文表现需自行实测。
GGUF · 建议预留 8.5 GB 显存；容量估算，未做设备实测。
Muse-Glimmer-30B-GGUF：本地多模态代理大模型
Muse-Glimmer-30B 是 Meta 发布的 30B 参数本地代理大模型，集成多步推理、工具调用、失败恢复与图像理解，主打端到端自动代理任务。适合需要在本地离线部署 AI 代理、编写调试代码或处理图文混合输入的开发者与研究者。
Q4_K_M · 建议预留 3 GB 显存；容量估算，未做设备实测。
MiniCPM5-2B-GGUF：本地可跑的2B长上下文中文助手
MiniCPM5-2B-GGUF 是面壁智能开源的2B参数稠密 Transformer GGUF 量化仓库，主打本地部署、端侧推理与资源受限场景。原生支持 131K 长上下文，覆盖代码、数学、工具调用与智能体任务。
Q4_K_M · 建议预留 3 GB 显存；容量估算，未做设备实测。
LFM2.5-24B-A2B-GGUF：面向边缘设备的多语言文本生成模型
本仓库为 LiquidAI 发布的 LFM2 系列混合架构模型的 GGUF 量化版本，参数规模为 24B，定位为面向边缘 AI 与设备端部署的文本生成模型，官方强调质量、速度与显存效率的平衡。模型卡声明支持英、阿、中、法、德、日、韩、西、葡、意十种语言。适合希望本地离线运行多语言大模型的开发者与研究者。
Q4_0 · 建议预留 16 GB 显存；容量估算，未做设备实测。
gemma-4-12B-coder-fable5-composer2.5-v1-GGUF：本地Python算法推理编码助手
基于Gemma 4 12B针对可验证Python与算法题微调的本地代码模型，融合Composer 2.5真实与Fable 5合成思维链数据蒸馏，最大256K上下文。适合希望离线私有编码助手、显存或内存约4.5GB起步的个人开发者与学习者使用。
Q2_K · 建议预留 6 GB 显存；容量估算，未做设备实测。
Viggle-Remake：视频重制与角色替换工作流
Viggle-Remake 是基于 MiniMax-H3 的视频重制模型，支持换人、换装、物体增删，以及背景、天气和光线修改。适合处理已获授权的影视素材；无本地 GPU 可用 Viggle 应用，自行部署需准备完整模型与运行环境。按 GGUF 清单，Q4_K_M 最低约需 17 GB 内存、14.5 GB 显存。
Q4_K_M · 建议预留 17 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-3.5-Bolt-E4B-4GB：面向本地设备助手与交互智能体
这是 NVIDIA 面向本地语音助手、设备助手、交互角色与嵌入式应用的 8B 参数小型语言模型，4B effective，支持多轮工具调用、指令遵循、思考模式与 64K 上下文。当前仓库是约 6.18GB 的 Q4_K_M GGUF 量化版；按所列 GGUF 估算，至少准备 7.5GB RAM、6.
Q4_K_M · 建议预留 7.5 GB 显存；容量估算，未做设备实测。
LFM3-1.7B-Uncensored-GGUF：面向本地对话的轻量文本生成模型
这是基于 LiquidAI/LFM3-1.7B 的 1.7B 参数文本生成 GGUF，主打本地离线对话，并移除安全拒答。资料标注支持英文、中文、德文，适合想在个人电脑尝试轻量模型、且重视更少拒答的用户。两种量化均有较低内存门槛，具体表现仍取决于运行工具、上下文和硬件。
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Nemotron-3-Diarization：最多八人实时说话人分离
NVIDIA Nemotron 3 Diarization 是开源说话人分离模型，用于判断多人音频中"谁在何时说话"。支持最多 8 名说话人、流式与离线推理，输出起止时间与说话人索引。可与流式 ASR 配合，给转写加词级说话人标签。适合会议转写、播客整理、客服质检等。
Q8_0 · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen-Image-2.1-Turbo-Quantized：面向本地部署的快速文生图量化模型
这是基于 Qwen-Image-2.1-Turbo 的 7B 参数文生图量化仓库，提供 GGUF、Safetensors 和 MLX 权重，适合用 ComfyUI 等本地工具生成图片。运行还需文本编码器与 VAE；GGUF 最低估算为 5GB RAM、4.5GB 显存，设备紧张可优先考虑 Q4_K_M。
Q4_0 · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
Ternary-Bonsai-2-9B-gguf：面向本地图文问答的低内存三值模型
基于 Qwen3.5-9B 的 9B 参数三值视觉语言模型，面向本地图文问答与对话。语言模型提供 PTQ1_0、PQ2_0、Q2_0 等 GGUF，体积约 2.00–2.68GB；文本最低需 4GB 内存，推荐 8GB。图像输入另需 mmproj，适合关注低占用、端侧部署且愿意使用专用运行环境的用户。
Q8_0 · 建议预留 3 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF：本地24GB显存跑的视觉智能体
面向本地部署的视觉语言智能体模型，总参数74B、激活9B，采用原生2-bit量化压缩至24GB以内，使用Mamba-2与Transformer混合MoE架构，支持最高256K上下文。
GGUF · 建议预留 26 GB 显存；容量估算，未做设备实测。
Supra2-100M-Instruct：百兆参数实验型英文对话模型
基于 Qwen3 架构的 100M 参数英文指令模型，仅 2K 上下文，提供 F16 GGUF（约 62.5MB）。适合低配置设备尝鲜轻量文本生成或研究小模型行为的开发者与爱好者。不适合需要事实准确性或多轮复杂推理的生产场景。
F16 · 建议预留 2 GB 显存；容量估算，未做设备实测。
nl2sh-1.5b-Q4_K_M：英文需求转单条Shell命令
基于 Qwen2.5-Coder-1.5B-Instruct 用 1.5B 参数底座配合 LoRA 微调并合并权重，专把一句英文需求翻译成单条 Bash 命令。约 941 MB，CPU 即可加载，约一秒返回。适合需要在本地终端把自然语言随手转成命令、又不想上云的用户。门槛低，普通笔记本就能跑。
Q4_K_M · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-GGUF：本地部署的去审查语言模型
Qwen3.8-27B-Uncensored-GGUF 是 orcarouter 发布的 27B 参数去审查大语言模型 GGUF 量化合集，适合想本地运行中等规模对话模型、追求回答自由度较高的中文用户。硬件门槛跨度大，从 8GB 内存的极限压缩版到 31.5GB 内存的全精度版均可部署，覆盖入门台式机到高端工作站。
IQ2 · 建议预留 8 GB 显存；容量估算，未做设备实测。
gemma-4-31B-it-ARA-heretic-GGUF：本地对话与多模态量化选择
该仓库提供 31B 参数英文对话模型的静态 GGUF 量化，适合希望在本地运行文本交互、并按内存选择精度档位的用户。Q2_K 最低约需 14GB RAM、12GB VRAM，Q4_K_S/Q4_K_M 推荐约 25GB RAM、20.5–22GB VRAM，Q8_0 推荐约 46GB RAM、38GB VRAM。
Q2_K · 建议预留 14 GB 显存；容量估算，未做设备实测。
LFM2.5-2.6B-DSpark-GGUF：2.6B目标专用投机解码草稿
这是 LiquidAI 为 LFM2.5-2.6B 目标模型发布的 GGUF 投机解码草稿侧车，必须配合 LFM2.5-2.6B-GGUF 目标文件共同使用。草稿侧车仅含 5 层注意力、rank-256 Markov 头与置信头，块大小 9，加载时共享目标模型的嵌入和 LM 头，因此体积远小于常规同参数量模型。
Q4_K_M · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Humanlike-Chat-GGUF：像真人的口语化聊天与工具调用
这是一个 27B 参数的 GGUF 量化仓库，主打"零系统提示就能像真人发短信"的对话风格，同时保留工具调用、数学与指令遵循能力。适合角色扮演、陪伴聊天、SillyTavern 角色卡、客服或同事口吻的本地代理。
F16 · 建议预留 6 GB 显存；容量估算，未做设备实测。
Qwen3.6-27B-MTP-GGUF：视觉多模态长上下文MTP编码模型
Qwen3.6-27B-MTP-GGUF 是 unsloth 在 Hugging Face 发布的 27B 参数多模态语言模型 GGUF 仓库，转发 Qwen3.6-27B 原生权重并附 mmproj 视觉投影文件，主打代理式编码、工具调用、原生 26 万 token 上下文与 MTP 多 Token 预测加速。
IQ2_XXS · 建议预留 11.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2-GGUF：高效思考与多模态推理量化版
主要用途是基于 Qwen3.8-27B 基座的高效思考模式与去审查微调版本，提供 GGUF 多档量化以适配不同显存。适合需要长上下文、推理增强与多模态输入的研究者，或中英文双语应用开发者。硬件门槛跨度大，从 8GB 显存运行 Q2 量化到 31.5GB 以上显存运行 Q8_0 全精度。
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
LFM3-VL-2B-GGUF：轻量视觉理解与多语图文问答
LFM3-VL-2B-GGUF 是 2B 参数的本地图文理解模型，面向需要图像输入、多语言问答或轻量部署的用户。模型卡仅给出基础能力与运行方式，未说明质量基准、上下文长度和架构细节。Q4_K_M 文件约 1.10 GB，来源建议至少 4 GB RAM、1.5 GB 显存，另有 8 GB RAM、2.
Q6_K · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
MiniCPM-V-4.7-1B-gguf：手机平板也能跑的多模态小模型
MiniCPM-V-4.7-1B-gguf 是面向端侧部署的轻量级多模态模型 GGUF 量化版，基于 1B 参数的 MiniCPM-V 4.7，支持单图、多图、视频理解、OCR、PDF 解析与视觉定位。可在 iOS、Android、HarmonyOS 与多家芯片平台本地推理。
Q6_K · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF：无审查全能创作与编程模型
该模型为 40B 稠密参数文本生成模型，由 Qwen3.6-27B 扩参训练而来，强调无审查、创作与编程能力，原生支持 256K 上下文与视觉输入。适合追求长篇创意写作、角色扮演、复杂代码生成与多轮深度对话的用户。最低运行门槛约 10.
IQ2_M · 建议预留 17.5 GB 显存；容量估算，未做设备实测。
Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF：面向本地部署的多模态实验模型
该仓库提供基于 DeepSeek-V4.1-Flash-1017 的多模态 GGUF 量化模型，任务标签为 image-text-to-text，适合研究宽松内容限制方案、在兼容工具中本地运行的用户。模型仅对第 11 至 28 层的 18 个注意力输出权重进行去审查，专家系统未改动。
IQ1_S · 建议预留 2 GB 显存；容量估算，未做设备实测。
LFM2.5-24B-A2B-GGUF：本地24B MoE推理与工具调用模型
LFM2.5-24B-A2B 是 24B 总参/2B 激活的 MoE 文本推理模型，主打本机 Agent 与工具调用场景，支持 131K 上下文与中文等多语言，适合需要私有本地部署的开发者与智能体工程师。硬件门槛随量化等级变化：IQ2/Q2 约需 7GB 内存或 6.
IQ2_M · 建议预留 9.5 GB 显存；容量估算，未做设备实测。
kitten-tts-2：本地多语种配音与声音克隆
kitten-tts-2 是 1.7B 文本转语音模型，可生成 24 kHz 音频，并支持上下文声音克隆、16 种语言、115 个预置音色与 Beta 情绪控制。适合需要本地配音、多语种朗读或声音复现的用户。现有 GGUF 约 1.03 GB，最低内存为 4 GB、最低显存为 1.
GGUF · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Xing4.0-29B-A4B-GGUF：29B稀疏激活长上下文工程模型
由电信人工智能推出的29B稀疏激活MoE模型，每token仅激活4B参数，原生支持256K上下文并可扩展到512K。面向多步规划、工具调用、代码与代理任务，可用于复杂工程推理与垂直领域问答。本仓库为GGUF量化版本，最低约8.5GB内存即可尝试IQ2档位，Q4以上建议20GB以上显存以保证长上下文体验。
IQ2_M · 建议预留 11.5 GB 显存；容量估算，未做设备实测。
phonon-31m-en：面向端侧场景的高品质英语语音合成
phonon-31m-en 是 31M 参数的英语流式 TTS 模型，可将文本合成为单声道 24 kHz 语音，适合离线助手、屏幕朗读、游戏和交互应用。可在浏览器、手机或笔记本 CPU 上运行。GGUF 估算最低需 4GB RAM、1GB 显存，建议 8GB RAM、2GB 显存；仅支持英语，归一化须选 en。
Q8 · 建议预留 2 GB 显存；容量估算，未做设备实测。
VibeVoice-ASR-BitNet：边缘CPU实时多语种语音转写模型
VibeVoice-ASR-BitNet 是微软推出的 2.8B 参数语音识别压缩版本，主打边缘CPU实时推理，无需独立显卡。它把原始模型从 4.62 GB 压到约 1.58 GB，模型卡显示 CPU 上比 Whisper.cpp 快 1.6 到 2.3 倍，支持中英法意韩葡越等多语种转写。
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
qwen-concept-27b：面向推理与权重编辑的实验模型
qwen-concept-27b 是基于 Qwen3.8-27B 的实验性权重编辑模型，面向推理与对话。模型卡称其重写 9 个降维投影，并报告相对基座更高的预注册评测分数及更少思考 token。
Q4_K_M · 建议预留 19.5 GB 显存；容量估算，未做设备实测。
Dolphin3-Cyber-8B-GGUF：网络安全攻防专精的本地化8B模型
基于Llama 3.1的8B网络安全垂直模型，主打攻防渗透、漏洞研究、利用开发与防御加固，已移除对齐限制，支持全本地离线推理。GGUF量化梯度从Q2_K到F16共十余档，最低3.18GB即可加载，适合安全工程师、CTF选手与红蓝队研究员。需要消费级或专业级显卡，无联网能力，知识截至基座训练时间。
Q2_K · 建议预留 4.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-GGUF：支持图像理解的多模态对话量化版
基于Qwen3.8-27B的多模态对话模型量化版本，支持图像理解与文本生成，原生提供思维链开关。提供从IQ1到Q8_0十余种量化文件与独立视觉投影组件，最低约3.5GB显存可启动小量化，但完整能力需中高端显存。适合具备中高显卡配置、想在本地运行视觉对话与推理任务的用户。
IQ1_M · 建议预留 10.5 GB 显存；容量估算，未做设备实测。
Qwen3.6-27B-Uncensored-HauhauCS-Aggressive：去审查多模态直答激进版
基于官方 Qwen3.6-27B 的 27B 参数多模态去审查变体，原生支持文本、图像、视频并自带 mmproj 文件。Aggressive 版在敏感提示下跳过铺陈与免责声明直接作答，测试拒答率为 0/465。K_P 自定义量化在体积与质量间较好平衡，但 27B 体量对显存内存要求较高，建议至少 16GB 显存起步。
IQ2_M · 建议预留 12 GB 显存；容量估算，未做设备实测。
Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF：百万上下文去限制推理模型
基于 Qwen3.5 架构的 9B 参数文本生成模型，支持 1M 超长上下文，覆盖推理、函数调用、工具使用和网络安全、生物医学等方向。该版本经过 abliteration 处理，安全过滤被显著削弱，更适合研究、测试和受控环境中的技术探索。消费级显卡建议 6GB 显存起运行 Q4_K 量化版本。
Q4_K · 建议预留 7 GB 显存；容量估算，未做设备实测。
Nanbeige4.3-33B-GGUF：面向中英双语推理与智能体
这是 Nanbeige4.3-33B 的 33B 参数 GGUF 量化版本，面向中英双语文本生成、对话、推理与智能体任务，默认开启思考模式。适合本地部署并能接受较高内存占用的用户；最小文件约13.7GB，16GB内存可尝试IQ2_S，更稳妥则需按所选文件预留约19.5–49.5GB内存及14–40.5GB显存。
IQ2_S · 建议预留 16 GB 显存；容量估算，未做设备实测。
Ternary-Bonsai-2-27B-Abliterated-GGUF：拒答削弱的本地推理预览包
这是Qwen系27B模型PQ2_0量化（2.13bpw，约7.21GB）的拒绝减弱预览版。模型卡显示其在数学、代码、工具调用等小型基准上与父包能力基本持平，主要变化是降低拒绝回答倾向，适合本地研究与内容生成等希望减少拒答的场景。
GGUF · 建议预留 9 GB 显存；容量估算，未做设备实测。
LFM2.5-24B-A2B-Uncensored-GGUF：去除拒答方向的本地文本生成
这是 AtomicChat 对 LiquidAI LFM2.5-24B-A2B 的去反射 GGUF 量化包，仅在第 14-39 块共 52 个矩阵上将拒答方向反向后保留 3/4 强度，使英文 JBB 拒答率从 96.3% 降至 1.2%，俄文从 62% 降至 0%，XSTest 安全提示从 12.
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-OrcaRouter-GGUF：27B视觉多模态本地研究版
Qwen3.8 27B 参数视觉语言模型的 GGUF 第三方量化版，已通过 abliteration 移除内置安全拒绝层，保留图文理解、工具调用与 MTP 投机解码能力，理论上下文 262K。Q4_K_M 最低约 16GB 内存或 14GB 显存，Q6_K 需约 24GB 内存。
Q4_K_M · 建议预留 19.5 GB 显存；容量估算，未做设备实测。
TwIL-8B：专注数学代码与指令遵循的本地推理模型
TwIL-8B 是 8.8B 参数的英文文本生成推理模型，基于 Granite 4.2 8B，经全参数 SFT 与强化学习强化竞赛数学、代码和指令遵循。适合本地处理数学题、编程任务及格式约束问答。Q4_K_M 文件约 4.98 GiB；复杂推理仍需较大生成预算，模型卡未说明中文能力。
Q4_K_M · 建议预留 6.5 GB 显存；容量估算，未做设备实测。
Qwen3.5-4B-GLB-3D-Coder：生成可编辑3D游戏资产页面
基于 Qwen3.5-4B 的 3D 专用代码模型，可按英文描述生成带预览与 Export GLB 按钮的 Three.js HTML 页面，产出角色、道具、建筑和环境等低多边形资产。适合游戏原型、Godot 素材制作及可编辑 GLB 导出；需使用支持 Qwen3.5 的运行时，并为长输出预留足够资源。
Q4_K_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
gemma-4-31B-it-scotoma-2-GGUF：31B参数去套语写作微调
这是基于Google gemma-4-31B-it的DPO偏好微调量化版本，通过三轮共9.3k对的训练减少角色扮演写作中的重复套语，包括堆叠形容词、破折号插入语与反义否定结构。适合中文角色扮演、创意写作与文本生成用户。Q3量化至少需要14GB内存或12GB显存，Q4量化需18.
IQ3_XXS · 建议预留 14.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-ABLITERATED-GGUF：本地多模态去拒答大模型
基于 Qwen3.8-27B 改造的 27B 参数稠密多模态 GGUF 版本，支持文本、图像、视频输入与文本输出，原生 262K 上下文。经权重级去拒答处理，保留推理与工具调用能力，内置 MTP 推测头，可选 DFlash2 加速。Q4_K_M 推荐约 16GB 显存。
BF16 · 建议预留 5 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF：本地可跑的多模态智能体大模型
unsloth 发布的 NVIDIA Nemotron 3.5 Bolt 74B-A9B GGUF 量化版本，面向本地多模态智能体任务。模型为 Mamba-2 与 Transformer 混合 LatentMoE 架构，共 74B 参数但仅激活 9B，支持文本、图像、视频输入，文本输出。
GGUF · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF：30B MoE混合架构多语言推理底座
30B 总参数、3B 激活的 NVIDIA 混合架构模型，结合 Mamba-2、MoE 与 Attention 层，支持长上下文与工具调用。仓库提供 IQ1 到 Q8 多档 GGUF 量化，IQ1 最低约 4GB 显存即可加载，桌面显卡也能尝试低比特版本。
IQ3_XXS · 建议预留 23 GB 显存；容量估算，未做设备实测。
LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF：边缘2.6B多模式推理文本引擎
基于LiquidAI LFM2.5-2.6B底模的GGUF文本生成模型，主打Turbo-Brilliance系统，提供12种推理模式与12种指令模式，可在聊天或API里实时切换并内置帮助菜单。适合想在笔记本、台式机或边缘设备尝试小参数多模式推理的开发者与高级玩家。
Q3 · 建议预留 3 GB 显存；容量估算，未做设备实测。
K2-Horizon-MoVA-36B-A4B-GGUF：36B总参4B激活的MoE长上下文推理
IFM 推出的 K2-Horizon-MoVA-36B-A4B 是稀疏 MoE 模型，总参数36B、每 token 仅激活4B，主打512K长上下文、推理与智能体工具调用。当前 GGUF 仓库仅提供 BF16 文件，显存门槛约23GB、内存26.5GB起步，需支持 K2 Horizon 架构的 llama.
Q4_K_M · 建议预留 26 GB 显存；容量估算，未做设备实测。
Ornith-1.5-9B-GGUF：9B视觉对话模型量化合集
Ornith-1.5-9B-GGUF 是带视觉理解的 9B 参数对话与智能体编码模型的本地 GGUF 量化仓库，由 AtomicChat 基于自研重要性矩阵调优多档位布局。适合想本地跑多模态对话、图像识别、长上下文问答与代码助手的用户。
IQ2_XXS · 建议预留 4 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Ultimate-Heretic-Uncensored-Turbo-Brilliance-50x-AGI-NEO-GGUF：多模式推理与创作模型档案
这是一个基于 27B 参数的 Qwen3.8 微调模型，重点提供可切换的推理、指令、角色扮演、创意写作、编码与多阶段生成模式，适合本地部署后进行对话、创作和工具调用。模型卡标注支持多语言及 image-text-to-text，但未说明具体视觉组件。支持 Ollama、llama.
IQ2_M · 建议预留 12 GB 显存；容量估算，未做设备实测。
Qwen-Image-2.1-Uncensored-Omni-Quantized：中文生图与图像编辑的量化模型
这是基于 Qwen-Image-2.1、合并 ChatR Labs Omni 适配器的社区量化模型，用于文生图与参考图编辑。仓库仅含 transformer 权重，文本编码器、处理器和 VAE 需从基础仓库取得。
Q4_0 · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
OrcaSAQ-2-Cyber-27B-Uncensored-GGUF：27B 参数的 GGUF 本地对话生成模型
这是一份 27B 参数的 GGUF 量化文件，适配 llama.cpp、Ollama 与 LM Studio 等本地推理工具，适合希望在大显存或大内存机器上离线运行较大体量语言模型的用户。最低约需 20GB 内存或 17GB 显存，建议 24GB 内存或 19.5GB 显存以获得更稳定表现。
GGUF · 建议预留 19.5 GB 显存；容量估算，未做设备实测。
Flux2-Klein-9B-True-V3：9B 文本生图与指令编辑模型
基于 FLUX.2-klein-9B 微调的 9B 文本生成图像模型，支持纯提示词图像编辑、LoRA 换脸换装及 Mask 区域精准编辑，V3 版本在美学与构图上有明显改进。适合需要本地部署文生图或图像编辑工作流的中文用户与 AIGC 创作者。
Q4_K · 建议预留 7 GB 显存；容量估算，未做设备实测。
LFM2.5-VL-3B-GGUF：面向端侧的3B视觉语言多模态模型
LFM2.5-VL-3B-GGUF 是 LiquidAI 发布的 3B 参数视觉语言模型，采用混合架构主打边缘与端侧部署，支持图片加文本输入并覆盖十余种语言。适合需要在本地设备上做图像问答、视觉理解的开发者与个人用户，最小仅需 4GB 内存即可加载 Q4 量化，适合笔记本、迷你主机等资源受限场景。
Q5_K_M · 建议预留 3 GB 显存；容量估算，未做设备实测。
Qwopus3.8-27B-Coder-Flash-GGUF：面向本地编程与工具调用的多模态代码模型
面向代码生成、调试、重构和工具调用工作流的27B 参数多模态微调模型，适合希望在本机运行编码助手或代理流程的中文用户。GGUF 提供 Q4_K_M 至 Q8_0；低量化可降低资源门槛，但较大版本仍需 20GB 以上内存或充足显存。
Q4_K_M · 建议预留 19.5 GB 显存；容量估算，未做设备实测。
supergemma4-26b-uncensored-gguf-v2：本地对话与代码兼顾的精简版
基于Gemma 4 26B MoE底座的轻量本地GGUF，主打去审查的英文与韩文对话以及代码生成，提供Q4_K_M单文件版本。适合日常聊天和编程辅助混合使用，需约15.5GB内存或13.5GB显存起步。已在苹果Silicon设备上验证过llama.cpp运行。
Q4_K_M · 建议预留 19.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Unleashed-GGUF：去审查27B长文本生成
基于 Qwen3.8-27B 的去审查 GGUF 版本，采用按张量动态比特分配（Unsloth Dynamic 3.0 配方），共 9 个档位。基础为 27B 混合 DeltaNet（65 层仅 17 层全注意力），支持 262k 上下文与视觉。推荐 UD-Q3_K_XL（13.
IQ1_M · 建议预留 8 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-DFlash2-GGUF：为Qwen3.8-27B加速的DFlash2草稿模型
本仓库是DFlash 2推测解码草稿模型的GGUF量化包，专为Qwen3.8-27B目标模型加速生成。它并非独立语言模型，必须在推测解码服务器中与目标模型配合运行，通过块扩散方式并行起草候选token，由目标模型校验后实现无损加速。适合已部署Qwen3.8-27B目标模型、愿意自行编译启用DFlash 2的llama.
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Ornith-1.5-35B-A3B-GGUF：多模态对话与视觉推理
Ornith-1.5-35B-A3B-GGUF 是面向本地图像—文本对话的稀疏 MoE 量化模型，支持视觉输入、262144 长上下文与思考开关。总参数约35B，每 token 激活约3B，但内存主要按 35B 估算；适合显存较大或可把专家卸载到系统内存的用户。
IQ3_XXS · 建议预留 16 GB 显存；容量估算，未做设备实测。
flux2-klein-9b-uncensored-text-encoder：FLUX.2 图像管线的 9B 文本编码器
基于 Qwen3 架构的 8.2B 参数文本编码器，命名显示面向 FLUX.2 图像生成管线。仓库仅提供 GGUF 量化文件，可通过 Ollama、llama.cpp、LM Studio 三类本地推理工具加载。适合希望在本地替换或测试 FLUX.
Q4 · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
DeepSeek-V4-Pro-Qwen3.5-9B-MTP-GGUF：数学与理工推理的 9B 蒸馏
DeepSeek-V4-Pro-Qwen3.5-9B-MTP-GGUF 是基于 Qwen3.5-9B 的 9B 参数推理模型，由 DeepSeek-V4-Pro Max Effect 模式教师数据蒸馏，约 25 万数学与 STEM 样本完成 SFT 与 GSPO 强化学习。
Q2_K · 建议预留 5 GB 显存；容量估算，未做设备实测。
qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf：无审查混合量化长上下文本地点推理
基于 Qwen3.8-27B 的无审查派生版本，沿用 Gated-DeltaNet 混合注意力与 MTP 推测解码，3.69 bpw 混合量化将文件压至约 11.73 GiB，原生支持 262K 上下文。适合本地长文档阅读、摘要与编程辅助，需约 24GB 内存或 19.5GB 显存，无内置安全层。
GGUF · 建议预留 15 GB 显存；容量估算，未做设备实测。
REDCELL-26B-A4B-OSINT-Cyber-APEX-GGUF：开源情报与威胁分析专精微调
REDCELL 是基于 Gemma 4 26B-A4B 混合专家架构（约 26B 总参数 / 4B 激活）的 16 位 LoRA 监督微调模型，专注于开源情报、威胁情报、调查记者与反虚假信息四个领域轴的 33 个细分任务，保留基础模型原生视觉能力与 262K 长上下文。
GGUF · 建议预留 14.5 GB 显存；容量估算，未做设备实测。
Ornith-1.0-35B-GGUF：面向编码代理的开源模型
Ornith-1.0-35B 是基于 Qwen3.5 微调的 35B MoE 模型，主打自主代理式编程，支持工具调用与代码生成。适合需要本地或私有部署智能编码助手、终端自动化脚本与 Agent 框架的开发者。提供 IQ1 到 Q6、BF16 多档 GGUF，最低约 4.
IQ1_S · 建议预留 12.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF：27B混合架构无审查代码助手
基于 Qwen3.8-27B 去审查权重，zerodigest 用 YMQ-Compiler 输出 GGUF 混合精度量化版，主打本地代码智能体与 RooCode/Aider 类工具。提供约 9.
Q4_K_S · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-SLQ-GGUF：面向本地部署的文本生成
Qwen3.8-27B-SLQ-GGUF 是 27B 参数文本生成量化模型，适合接受 SLQ 近似保真方案并希望在本地运行较大文本模型的用户。仓库提供三种 GGUF；按文件估算，最低约需 19–24GB 显存或 22–28GB 内存，推荐配置更高。
Q5_K_S · 建议预留 22 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-OBLITERATED-GGUF：去审查版红队研究模型
Qwen3.8-27B 的去审查 GGUF 量化版本，去除模型对齐限制，面向 AI 安全红队研究与对抗测试场景。基座来自 OBLITERATUS 的 27B 规模文本模型，标签明确标注 abliterated、uncensored、red-team。
Q2_K · 建议预留 13 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF：适合小设备的一般推理与代理任务
该模型是4B 参数的英文文本生成模型，采用循环式潜在递归架构，面向通用推理、代码、工具调用及代理任务，并可调节循环次数。适合希望在较小内存设备上本地运行、能够接受英文交互的开发者。现有 GGUF 仅见 Q5_K_M，文件约 3.67GB；建议按资料预留 8GB 内存或 5GB 显存，llama.
Q5_K_M · 建议预留 5 GB 显存；容量估算，未做设备实测。
Nail-Qwen3.6-35B-A3B-GGUF-MTP：MTP加速的35B多模态推理模型
基于 Qwen3.6-35B-A3B 的 GGUF 量化版，保留 MTP 推测解码头并内置改良 chat template 与系统提示，支持中英双语、原生 262K 长上下文与视觉输入，主打 agentic 编程、多轮对话与复杂推理。最低 IQ3_S 需约 15.5GB 显存，BF16 双分片需 96GB+ 内存。
IQ3_XXS · 建议预留 16.5 GB 显存；容量估算，未做设备实测。
Qwopus3.8-27B-Flash-GGUF：MTP加速的Agent微调模型
基于Qwen3.8-27B微调的27B参数多模态模型，专为本地Agent工作流优化。通过MTP推测解码降低推理时延与生成成本，减少异常长尾推理。适合需要本地部署、多轮工具调用、长期Agent循环和代码生成的用户。模型卡明确说明存在Python代码缩进已知问题，修复中。
Q2_K · 建议预留 13 GB 显存；容量估算，未做设备实测。
Nanbeige4.2-3B-GGUF：3B参数中文轻量对话量化
Nanbeige4.2-3B-GGUF 是基于 Nanbeige4.2-3B 的 GGUF 量化合集，参数规模 3B，支持中英文文本生成。提供 Q2 到 Q8 共 8 档量化，适合硬件资源有限的本地用户。极小文件 Q2/Q3 适合老旧设备与最低 4GB 内存环境；Q5/Q6/Q8 保留更多质量但需要 3GB 以上显存。
Q2_K · 建议预留 3 GB 显存；容量估算，未做设备实测。
Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored-NM-DAU-NEO-MAX-MTP-GGUF：40B 多阶段融合全能文本视觉模型
基于 Qwen3.6 27B 多核融合并扩展到 40B 参数的多阶段微调模型，主打指令遵循、推理思考、编程写作等全用途场景。原生 256k 上下文并支持视觉输入，需 10.5GB 以上显存才能加载 IQ2 量化，24GB 显卡建议使用 IQ4 量化。适合拥有高端显卡、追求长上下文与去审核体验的本地推理和创作用户。
IQ2_XXS · 建议预留 14.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-APEX-GGUF：27B 混合注意力量化变体
Qwen3.8-27B-APEX-GGUF 是基于 Qwen3.8-27B 的 APEX 测量式量化仓库，提供 Mini 与 Nano 两档 GGUF 文件并附带视觉投影器。模型为 27B 稠密架构，交错线性与全注意力层。适合想用 12–16GB VRAM 跑 27B 模型、尝试混合注意力与投机解码的中高级用户。
GGUF · 建议预留 13.5 GB 显存；容量估算，未做设备实测。
Nail-Qwen3.6-35B-A3B-GGUF：高速MoE对话与视觉编程
Nail 是基于 Qwen3.6-35B-A3B 重新调参的 35B 参数 MoE 量化模型，专为追求极速响应的多轮对话、推理与自主软件工程场景设计。它内置精简系统提示以抑制过度思考，并通过 llama.cpp 与 ollama 等运行时支持文本与视觉任务。
IQ3_S · 建议预留 16 GB 显存；容量估算，未做设备实测。
ZONOS3-Mini：多语言语音合成与高保真音色克隆
ZONOS3-Mini 是 Zyphra 的紧凑型开源语音合成模型，支持 43 种语言，可用参考音频克隆音色，并控制情绪、语速与表达。模型共 800M 参数、每 token 约激活 100M，适合游戏、旁白和语音助手。需按用途选择 GGUF 组件并配置运行环境；普通设备的实际速度无法仅凭文件信息保证。
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF：40B级多阶段融合的全能本地对话模型
40B 参数多阶段微调的开源大模型，由 Qwen3.6 27B 通过多版本融合扩展而成，强化指令遵循与深度思考，并经 Heretic 处理降低拒绝率。支持 256k 长上下文和视觉输入，提供 IQ2 至 Q8 多档 GGUF 与 MTP 加速版本。
IQ2_XXS · 建议预留 14.5 GB 显存；容量估算，未做设备实测。
ThinkingCap-Qwen3.6-27B-MTP-GGUF：27B思考模型精简量化与MTP加速
基于Qwen3.6-27B精简微调的27B思考模型，专为Blackwell架构与MTP推测解码打包。思考token比基座平均减少约46%而精度保持，适合追求推理效率的中高端用户。IQ3档位约12.8GB、最低约10.
IQ3_M · 建议预留 15 GB 显存；容量估算，未做设备实测。
Neutrino-8B：8B 三元量化对话与工具调用模型
Neutrino-8B 是基于 Qwen3-8B 的 8B 参数三元量化聊天模型，每个线性层以五值编码存储为亚 2 比特权重，整模型容器约 3.9 GB，适合在 Mac、CPU 服务器或显存约 6.5 GB 的入门显卡上离线加载。模型卡写明带工具调用与结构化 JSON 输出训练，可用作本地对话、长文生成或轻量函数代理。
GGUF · 建议预留 5.5 GB 显存；容量估算，未做设备实测。
Qwopus3.6-27B-Fusion-GGUF：融合推理与代码的27B单代理
Qwopus3.6-27B-Fusion-GGUF 是 27B 参数、qwen35 混合线性与全注意力架构的 GGUF 量化版本，把多步推理与代码执行能力合并到一个模型里，面向希望本地运行闭环创作编程代理的开发者。默认开启思考模式，最低 Q3_K_M 需约 12GB 内存与 10.
Q3_K_M · 建议预留 16 GB 显存；容量估算，未做设备实测。
Jack-3.8-27B-Coder-16GB-VRAM：本地16G显存长上下文编程代理
Jack-3.8-27B-Coder-16GB-VRAM 是一款基于 27B 参数的本地编程专用模型，专为长时间运行的软件工程代理场景设计，覆盖规划、编码、调试、代码审查、测试设计与多轮工具调用。
GGUF · 建议预留 15 GB 显存；容量估算，未做设备实测。
TIPOv2-1B-A200M：文生图提示词扩写专家
TIPOv2-1B-A200M 是一个 1B 总参数、每 token 仅激活约 200M 的稀疏 MoE 模型，专门把用户输入的简短提示词扩写为更详细的长描述，供 Stable Diffusion 等文生图扩散模型使用。
Q8_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
ThinkingCap-Qwen3.6-27B-GGUF：27B视觉语言高效推理量化版
这是基于Qwen3.6-27B微调的27B视觉语言模型GGUF量化版本，通过token-efficient微调使思考token平均减少约50%而保持原答案质量，支持图像输入。适合拥有中高端硬件、追求本地高效图文推理的用户，Q4_K_M是模型卡推荐的质量与体积平衡点。
Q4 · 建议预留 16 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-IU4-Kairic-Edge：AMD Strix Halo 平台 27B IU4 本地推理加速模型
基于 Qwen3.8-27B 的 IU4 加速量化模型，专为 AMD Strix Halo / Radeon 8060S（gfx1151）深度优化。融合 Prompt Forge 与 Dual View 技术，HumanEval Base 158/164（96.34%），编码生成能力突出。
GGUF · 建议预留 19.5 GB 显存；容量估算，未做设备实测。
Mizan-27B-Turkish-Legal-LLM-Q4_K_M-GGUF：土耳其法律问答与法务草稿助手
基于 Qwen3.6-27B 的土耳其法律领域微调模型，27B 参数，采用 4-bit NF4 QLoRA 在 21 万余条土耳其法律问答数据上做文本 SFT，主打土耳其语法律问答、合同与 KVKK 等子领域分析与 RAG 生成。
Q4_K_M · 建议预留 19.5 GB 显存；容量估算，未做设备实测。