MODEL DECISION LIBRARY
先看懂模型，再决定下载哪个量化。
先用用途与容量缩小范围，再核对量化质量、运行框架和上下文。显存数值是容量估算，能加载不等于运行流畅。
仅完整模型权重参与容量筛选；多模态投影文件、长上下文和系统占用还需额外预留。任务未分类的模型只在“全部任务”下展示。
Qwen3.8-27B-GGUF：本地可跑的图文多模态量化版
这是 ggml-org 发布的 Qwen3.8-27B 的 GGUF 量化版本，基础模型 pipeline_tag 标注为 image-text-to-text，属于图文多模态模型，采用 Apache 2.0 协议。仓库提供 Q4_K_M、Q8_0 和 BF16 三种精度文件，对显存与内存有一定门槛。
Q4_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF：面向图文推理的本地对话模型
这是 27B 参数多模态模型，支持中英对话、推理及图像与视频理解，原生上下文为 262,144 token。Aggressive 版强调直接作答、较少拒答，适合本地长文档与代理任务。设备门槛随量化变化，最低 IQ2_M 文件约 10.32GB，建议准备 14.
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
nemotron-3.5-asr-streaming-0.6b：0.6B 参数多语种流式语音转文字模型
NVIDIA 推出的 0.6B 参数多语种流式语音识别模型，基于缓存感知 FastConformer-RNNT 架构，原生支持 40 种语言-地区转录，可配置 80 毫秒到 1120 毫秒分块以在延迟与精度间权衡。适合需要多语种实时字幕、语音代理、跨语种转写或多语种批量转录的开发者与团队，输出自带大小写与标点。
Q8_0 · 建议预留 2 GB 显存；容量估算，未做设备实测。
MiMo-V2.6-Distill-Qwen-9B-GGUF：9B 蒸馏多模态与代理任务底座
MiMo-V2.6-Distill-Qwen-9B 由小米 MiMo 团队蒸馏自 Qwen，主打 9B 参数级的代理、工具调用与代码任务，并支持图文输入。适合想在本地跑 Agent、调用工具或做代码生成的开发者与爱好者。
IQ2_M · 建议预留 5 GB 显存；容量估算，未做设备实测。
Qwen-Image-2.1-Turbo-Uncensored-GGUF：本地文生图编码器与少拒答聊天模型
该仓库提供 Qwen3-VL-8B-Instruct 文本编码器的 GGUF 量化版，用于配合独立的 Qwen-Image-2.1 图像去噪器生成图片，也可在配置 mmproj 后用于图像理解聊天。资源紧张可选 AD-Q2_K，容量充足优先 Q8_0 或 BF16；完整架构与上下文长度，模型卡未说明。
Q2_K · 建议预留 4.5 GB 显存；容量估算，未做设备实测。
Sharp-Spark-X2.5-4B-GGUF：小显存长上下文编程模型
Sharp-Spark-X2.5-4B-GGUF 是 4B 参数稠密长上下文编程模型的 GGUF 量化版，混合注意力架构让 6GB 显存的家用 GPU 也能跑出可用速度。面向安全与系统代码方向，使用 Sharp-Spark 模板并支持工具调用。
Q4_K_XL · 建议预留 4 GB 显存；容量估算，未做设备实测。
LFM2.5-2.6B-GGUF：本地部署的多语言轻量文本生成模型
LFM2.5-2.6B-GGUF 是 LiquidAI 推出的 2.6B 参数混合架构模型，专为设备端部署设计，支持中文在内的十余种语言文本生成。适合想在笔记本、低配台式机或边缘设备上离线运行轻量语言模型的用户，最低 4GB 内存即可加载 Q4 量化版本，对独立显卡依赖较低。
Q5_K_M · 建议预留 3 GB 显存；容量估算，未做设备实测。
Muse-Glimmer-30B-GGUF：本地部署的多模态智能体模型
Muse-Glimmer-30B 是 Meta 推出的 30B 参数多模态语言模型，专为本地智能体任务设计，集成多步推理、工具调用、失败恢复和图文理解能力。通过 4-bit 量化可压缩到 24–32GB 显存运行，适合需要在本地搭建自主代理、代码助手或多模态应用的研究者和开发者，使用门槛中等偏高。
GGUF · 建议预留 3 GB 显存；容量估算，未做设备实测。
Qwen3.8-4B-Distill-GGUF：4B 蒸馏推理模型量化包
Qwen3.8-4B-Distill 是把 Qwen3.8 2.4T A95B 大模型蒸馏到 Qwen3.5-4B 架构而来的 4B 参数推理模型，本仓库为 GGUF 量化版。适合想在消费级硬件上本地跑推理模型、又不愿承担大模型显存开销的用户。属于 Qwen3.
Q4_K_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
Ternary-Bonsai-27B-gguf：27B三元量化笔记本可跑的长文本推理模型
Ternary Bonsai 27B 是基于 Qwen3.6-27B 的三元权重量化版本，部署约 7.2 GB，可在 8 GB 内存的笔记本上加载运行，保留数学、代码与思维链等核心推理能力，原生支持 262K 长上下文。
Q4_1 · 建议预留 3 GB 显存；容量估算，未做设备实测。
Spark-X2.6-4B-GGUF：面向端侧代理与代码任务
Spark-X2.6-4B-GGUF 是面向端侧部署的中英双语文本生成模型，适合本地代理、代码辅助和日常对话。模型卡称其增强了编码、工具调用、多步规划、长上下文与多语言推理，并提供三档思考预算。仓库含 Q4_K_M、Q8_0 和未量化 GGUF；资源有限时优先考虑 Q4_K_M。
Q4_K_M · 建议预留 5 GB 显存；容量估算，未做设备实测。
Qwen3.8-2B-Distill-GGUF：手机可跑的 2B 蒸馏推理量化版
该仓库是 empero-ai/Qwen3.8-2B 的官方 GGUF 量化合集，对应 2B 参数的蒸馏推理模型，主打文本生成与思考型回答。适合想在手机、单板机、轻薄本上离线运行轻量对话的中文及英文用户，CPU 即可起步。Q4 量化约 1.3 GB，本地门槛低。注意需较新 llama.cpp 以支持 Qwen3.
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Spark-X2.5-4B-GGUF：4B 紧凑多语长上下文对话模型
Spark-X2.5-4B 是 4B 参数的通用紧凑型语言模型，覆盖 200+ 语言并支持最高 1M token 原生上下文，适合对话、写作、翻译、推理、编程与代理工作流。本仓库为 GGUF 量化版本，可在 Ollama、LM Studio、llama.
Q4_K_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF：面向本地推理与工具调用的9B模型
该仓库提供9B 参数静态 GGUF，标签覆盖中英等多语文本生成、推理、数学、科学、工具与函数调用，适合想在个人设备本地运行文本任务、并接受较低内存占用的中文用户。Q4_K_S 与 Q4_K_M 文件约5.5GB、5.7GB，仓库标注为快速且推荐；实际速度与效果未说明。
Q2_K · 建议预留 5 GB 显存；容量估算，未做设备实测。
Qwen3.5-4B-3D-Coder：面向网页三维场景与通用代码生成
这是一款基于 Qwen/Qwen3.5-4B 的独立微调预览模型，重点生成 Three.js 交互式三维场景，也尝试通用编码。适合网页 3D 原型、创意编程及视觉参考辅助。仓库提供 Q4_K_M、Q8_0 GGUF：最低约需 4GB/5.
Q4_K_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-DFlash2-GGUF：块扩散加速草稿模型
这是 Qwen3.8-27B 的 DFlash 2 推测解码草稿模型镜像，并非可独立运行的对话模型，必须搭配 Qwen3.8-27B 目标主模型在 llama.cpp 推测解码服务内使用，通过块扩散一次预测多个 token 提升生成速度。适合已在本地部署 Qwen3.
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
humanizer：中英文稿件自然化改写助手
humanizer 是基于 Gemma 4 12B 微调的 12B 参数中英文文本改写模型，面向希望把邮件、文章、报告和论坛草稿改得更像自然人稿的中文用户。它可本地离线运行，但应复核数字、日期和姓名；不同 GGUF 版本对内存与显存要求差异明显。
IQ2_XS · 建议预留 5 GB 显存；容量估算，未做设备实测。
Ornith-1.5-9B-OBLITERATED：移除安全层的9B文本生成
Ornith-1.5-9B-OBLITERATED 是 Ornith-1.5-9B 的去安全对齐版本，基于 Qwen3.5 混合架构，含 9B 参数与视觉编码器。面向研究、红队测试与安全分析用户，强调代码与推理能力，但 MMLU 较原版下降约 4 个百分点。
Q2_K · 建议预留 5 GB 显存；容量估算，未做设备实测。
Bonsai-27B-gguf：27B模型一比特极限压缩本地可跑
本仓库是prism-ml基于Qwen3.6-27B的1比特二值化GGUF量化版本，把27B参数混合注意力模型压到约3.9GB（每权重1.125bit），主打长文本对话、代码生成与本地离线推理。适合在普通笔记本、单卡GPU或手机上跑27B级模型的用户，最低约4GB内存即可加载主语言模型，附带视觉塔可处理图像输入。
Q4_1 · 建议预留 3 GB 显存；容量估算，未做设备实测。
LFM3-1.7B-GGUF：轻量多语言文本生成的本地部署
LFM3-1.7B-GGUF 是 1.7B 参数模型的 GGUF 本地推理版本，面向文本生成和多语言文本任务，支持 CPU、GPU 以及多种本地运行工具。Q4、Q5、Q6 文件最低约需 4GB 内存和 1.5GB 显存，建议配置 8GB 内存，适合设备资源有限、重视部署灵活性的中文用户。
Q4_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-i1-GGUF：本地多语种推理与工具调用
该仓库是 9B 参数模型的 GGUF 量化版，主打多语种文本生成、推理、数学与工具调用，模型卡同时标注为视觉模型。适合想在本地运行并接受低量化取舍的中文用户。最低约需 4GB 内存与 3GB 显存；更稳妥的量化组合约需 8GB 内存和 4.5GB 显存。
IQ1_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF：面向本地语音助手与设备代理
该模型为 8B 参数（4B 有效参数）的文本生成 SLM，面向本地语音助手、设备助手、交互角色及嵌入式接口，强化多轮工具调用、指令遵循和输入落地。提供 64K 上下文及多种 GGUF 量化，适合约 8GB 内存或 6.5GB 显存配置的本地用户；BF16 版本资源门槛更高。
Q8_0 · 建议预留 2 GB 显存；容量估算，未做设备实测。
LFM3-Omni-2B-GGUF：面向端侧的多模态交互助手
LFM3-Omni-2B 是面向端侧的多模态模型，可理解文本、图像、视频与音频，并用文本和语音回答，适合需要本地图文、音视频或语音交互的用户。GGUF 提供多种量化，资源需求较低；实际模态支持取决于运行工具、版本及投影文件是否可用。
Q4_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF：面向多模式对话与推理创作
27B 参数文本生成 GGUF，以移除拒答的权重和内置聊天模板提供约 40 种推理、角色与教学模式，适合本地多模式对话与创意写作。IQ4_XS 约 15.7 GB，Q6_K_P 约 25.9 GB，另有 0.9 GB FastMTP 草稿；完整模型需按文件估算配置内存或显存。
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
TwIL-LM3：3B参数形式逻辑推理专用模型
TwIL-LM3 是基于 SmolLM3-3B 微调的 3B 参数形式逻辑推理模型，专注一阶逻辑翻译、蕴涵判定、语义解析、Lean 形式化与证明评审等结构化任务。适合需要机器可读符号化推理输出的研究者与本地推理开发者，硬件门槛低，Q4_K_M 量化可在 4GB 显存或纯 CPU 起步。
Q4_K_M · 建议预留 3 GB 显存；容量估算，未做设备实测。
MiniCPM-V-4.7-35B-A3B-gguf：端侧多模态视觉语言量化版
MiniCPM-V-4.7-35B-A3B 的 GGUF 量化版本，是 MiniCPM-V 系列首个 MoE 多模态模型，支持单图、多图、视频理解、OCR、PDF 解析与视觉定位等任务。35B 总参数仅激活约 3B，结合前瞻专家调度与细粒度分层量化，主打端侧流畅推理。
F16 · 建议预留 2 GB 显存；容量估算，未做设备实测。
MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF：1B 本地思考模型工具调用增强版
基于 MiniCPM5-1B 的 1B 参数本地化文本生成模型，V2 版本相比 V1 强化工具调用与函数调用能力，支持思考模式推理与最长 128K 上下文，兼顾中英文对话、代码生成和指令跟随。适合想要在笔记本或低显存设备上本地跑一个能调用工具、能写代码的小模型的用户。
Q8_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF：本地1B轻量思维链代码模型
面向本地部署的 1B 参数轻量文本生成模型，基于 MiniCPM5-1B 在 Fable 5 数据上微调，支持思维链推理、代码生成与指令跟随，上下文最长 128K tokens。适合硬件受限、需要离线跑思维链问答或编程任务的个人开发者，最低 4GB 内存即可加载 Q4 量化版本，无需高端显卡。
Q4_K_M · 建议预留 2 GB 显存；容量估算，未做设备实测。
Muse-Glimmer-30B-GGUF：本地多模态代理大模型
Muse-Glimmer-30B 是 Meta 发布的 30B 参数本地代理大模型，集成多步推理、工具调用、失败恢复与图像理解，主打端到端自动代理任务。适合需要在本地离线部署 AI 代理、编写调试代码或处理图文混合输入的开发者与研究者。
Q4_K_M · 建议预留 3 GB 显存；容量估算，未做设备实测。
MiniCPM5-2B-GGUF：本地可跑的2B长上下文中文助手
MiniCPM5-2B-GGUF 是面壁智能开源的2B参数稠密 Transformer GGUF 量化仓库，主打本地部署、端侧推理与资源受限场景。原生支持 131K 长上下文，覆盖代码、数学、工具调用与智能体任务。
Q4_K_M · 建议预留 3 GB 显存；容量估算，未做设备实测。
LFM3-1.7B-Uncensored-GGUF：面向本地对话的轻量文本生成模型
这是基于 LiquidAI/LFM3-1.7B 的 1.7B 参数文本生成 GGUF，主打本地离线对话，并移除安全拒答。资料标注支持英文、中文、德文，适合想在个人电脑尝试轻量模型、且重视更少拒答的用户。两种量化均有较低内存门槛，具体表现仍取决于运行工具、上下文和硬件。
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
Nemotron-3-Diarization：最多八人实时说话人分离
NVIDIA Nemotron 3 Diarization 是开源说话人分离模型，用于判断多人音频中"谁在何时说话"。支持最多 8 名说话人、流式与离线推理，输出起止时间与说话人索引。可与流式 ASR 配合，给转写加词级说话人标签。适合会议转写、播客整理、客服质检等。
Q8_0 · 建议预留 2 GB 显存；容量估算，未做设备实测。
Ternary-Bonsai-2-9B-gguf：面向本地图文问答的低内存三值模型
基于 Qwen3.5-9B 的 9B 参数三值视觉语言模型，面向本地图文问答与对话。语言模型提供 PTQ1_0、PQ2_0、Q2_0 等 GGUF，体积约 2.00–2.68GB；文本最低需 4GB 内存，推荐 8GB。图像输入另需 mmproj，适合关注低占用、端侧部署且愿意使用专用运行环境的用户。
Q8_0 · 建议预留 3 GB 显存；容量估算，未做设备实测。
Supra2-100M-Instruct：百兆参数实验型英文对话模型
基于 Qwen3 架构的 100M 参数英文指令模型，仅 2K 上下文，提供 F16 GGUF（约 62.5MB）。适合低配置设备尝鲜轻量文本生成或研究小模型行为的开发者与爱好者。不适合需要事实准确性或多轮复杂推理的生产场景。
F16 · 建议预留 2 GB 显存；容量估算，未做设备实测。
nl2sh-1.5b-Q4_K_M：英文需求转单条Shell命令
基于 Qwen2.5-Coder-1.5B-Instruct 用 1.5B 参数底座配合 LoRA 微调并合并权重，专把一句英文需求翻译成单条 Bash 命令。约 941 MB，CPU 即可加载，约一秒返回。适合需要在本地终端把自然语言随手转成命令、又不想上云的用户。门槛低，普通笔记本就能跑。
Q4_K_M · 建议预留 2 GB 显存；容量估算，未做设备实测。
LFM2.5-2.6B-DSpark-GGUF：2.6B目标专用投机解码草稿
这是 LiquidAI 为 LFM2.5-2.6B 目标模型发布的 GGUF 投机解码草稿侧车，必须配合 LFM2.5-2.6B-GGUF 目标文件共同使用。草稿侧车仅含 5 层注意力、rank-256 Markov 头与置信头，块大小 9，加载时共享目标模型的嵌入和 LM 头，因此体积远小于常规同参数量模型。
Q8_0 · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2-GGUF：高效思考与多模态推理量化版
主要用途是基于 Qwen3.8-27B 基座的高效思考模式与去审查微调版本，提供 GGUF 多档量化以适配不同显存。适合需要长上下文、推理增强与多模态输入的研究者，或中英文双语应用开发者。硬件门槛跨度大，从 8GB 显存运行 Q2 量化到 31.5GB 以上显存运行 Q8_0 全精度。
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
LFM3-VL-2B-GGUF：轻量视觉理解与多语图文问答
LFM3-VL-2B-GGUF 是 2B 参数的本地图文理解模型，面向需要图像输入、多语言问答或轻量部署的用户。模型卡仅给出基础能力与运行方式，未说明质量基准、上下文长度和架构细节。Q4_K_M 文件约 1.10 GB，来源建议至少 4 GB RAM、1.5 GB 显存，另有 8 GB RAM、2.
Q4_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
MiniCPM-V-4.7-1B-gguf：手机平板也能跑的多模态小模型
MiniCPM-V-4.7-1B-gguf 是面向端侧部署的轻量级多模态模型 GGUF 量化版，基于 1B 参数的 MiniCPM-V 4.7，支持单图、多图、视频理解、OCR、PDF 解析与视觉定位。可在 iOS、Android、HarmonyOS 与多家芯片平台本地推理。
Q4_0 · 建议预留 2 GB 显存；容量估算，未做设备实测。
Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF：面向本地部署的多模态实验模型
该仓库提供基于 DeepSeek-V4.1-Flash-1017 的多模态 GGUF 量化模型，任务标签为 image-text-to-text，适合研究宽松内容限制方案、在兼容工具中本地运行的用户。模型仅对第 11 至 28 层的 18 个注意力输出权重进行去审查，专家系统未改动。
IQ2_XXS · 建议预留 2 GB 显存；容量估算，未做设备实测。
kitten-tts-2：本地多语种配音与声音克隆
kitten-tts-2 是 1.7B 文本转语音模型，可生成 24 kHz 音频，并支持上下文声音克隆、16 种语言、115 个预置音色与 Beta 情绪控制。适合需要本地配音、多语种朗读或声音复现的用户。现有 GGUF 约 1.03 GB，最低内存为 4 GB、最低显存为 1.
GGUF · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
phonon-31m-en：面向端侧场景的高品质英语语音合成
phonon-31m-en 是 31M 参数的英语流式 TTS 模型，可将文本合成为单声道 24 kHz 语音，适合离线助手、屏幕朗读、游戏和交互应用。可在浏览器、手机或笔记本 CPU 上运行。GGUF 估算最低需 4GB RAM、1GB 显存，建议 8GB RAM、2GB 显存；仅支持英语，归一化须选 en。
Q8 · 建议预留 2 GB 显存；容量估算，未做设备实测。
VibeVoice-ASR-BitNet：边缘CPU实时多语种语音转写模型
VibeVoice-ASR-BitNet 是微软推出的 2.8B 参数语音识别压缩版本，主打边缘CPU实时推理，无需独立显卡。它把原始模型从 4.62 GB 压到约 1.58 GB，模型卡显示 CPU 上比 Whisper.cpp 快 1.6 到 2.3 倍，支持中英法意韩葡越等多语种转写。
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
Dolphin3-Cyber-8B-GGUF：网络安全攻防专精的本地化8B模型
基于Llama 3.1的8B网络安全垂直模型，主打攻防渗透、漏洞研究、利用开发与防御加固，已移除对齐限制，支持全本地离线推理。GGUF量化梯度从Q2_K到F16共十余档，最低3.18GB即可加载，适合安全工程师、CTF选手与红蓝队研究员。需要消费级或专业级显卡，无联网能力，知识截至基座训练时间。
Q2_K · 建议预留 4.5 GB 显存；容量估算，未做设备实测。
LFM2.5-24B-A2B-Uncensored-GGUF：去除拒答方向的本地文本生成
这是 AtomicChat 对 LiquidAI LFM2.5-24B-A2B 的去反射 GGUF 量化包，仅在第 14-39 块共 52 个矩阵上将拒答方向反向后保留 3/4 强度，使英文 JBB 拒答率从 96.3% 降至 1.2%，俄文从 62% 降至 0%，XSTest 安全提示从 12.
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
Qwen3.5-4B-GLB-3D-Coder：生成可编辑3D游戏资产页面
基于 Qwen3.5-4B 的 3D 专用代码模型，可按英文描述生成带预览与 Export GLB 按钮的 Three.js HTML 页面，产出角色、道具、建筑和环境等低多边形资产。适合游戏原型、Godot 素材制作及可编辑 GLB 导出；需使用支持 Qwen3.5 的运行时，并为长输出预留足够资源。
Q4_K_M · 建议预留 4 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-ABLITERATED-GGUF：本地多模态去拒答大模型
基于 Qwen3.8-27B 改造的 27B 参数稠密多模态 GGUF 版本，支持文本、图像、视频输入与文本输出，原生 262K 上下文。经权重级去拒答处理，保留推理与工具调用能力，内置 MTP 推测头，可选 DFlash2 加速。Q4_K_M 推荐约 16GB 显存。
BF16 · 建议预留 5 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF：本地可跑的多模态智能体大模型
unsloth 发布的 NVIDIA Nemotron 3.5 Bolt 74B-A9B GGUF 量化版本，面向本地多模态智能体任务。模型为 Mamba-2 与 Transformer 混合 LatentMoE 架构，共 74B 参数但仅激活 9B，支持文本、图像、视频输入，文本输出。
GGUF · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF：边缘2.6B多模式推理文本引擎
基于LiquidAI LFM2.5-2.6B底模的GGUF文本生成模型，主打Turbo-Brilliance系统，提供12种推理模式与12种指令模式，可在聊天或API里实时切换并内置帮助菜单。适合想在笔记本、台式机或边缘设备尝试小参数多模式推理的开发者与高级玩家。
Q3 · 建议预留 3 GB 显存；容量估算，未做设备实测。
Ornith-1.5-9B-GGUF：9B视觉对话模型量化合集
Ornith-1.5-9B-GGUF 是带视觉理解的 9B 参数对话与智能体编码模型的本地 GGUF 量化仓库，由 AtomicChat 基于自研重要性矩阵调优多档位布局。适合想本地跑多模态对话、图像识别、长上下文问答与代码助手的用户。
IQ2_XXS · 建议预留 4 GB 显存；容量估算，未做设备实测。
LFM2.5-VL-3B-GGUF：面向端侧的3B视觉语言多模态模型
LFM2.5-VL-3B-GGUF 是 LiquidAI 发布的 3B 参数视觉语言模型，采用混合架构主打边缘与端侧部署，支持图片加文本输入并覆盖十余种语言。适合需要在本地设备上做图像问答、视觉理解的开发者与个人用户，最小仅需 4GB 内存即可加载 Q4 量化，适合笔记本、迷你主机等资源受限场景。
Q4_0 · 建议预留 3 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-DFlash2-GGUF：为Qwen3.8-27B加速的DFlash2草稿模型
本仓库是DFlash 2推测解码草稿模型的GGUF量化包，专为Qwen3.8-27B目标模型加速生成。它并非独立语言模型，必须在推测解码服务器中与目标模型配合运行，通过块扩散方式并行起草候选token，由目标模型校验后实现无损加速。适合已部署Qwen3.8-27B目标模型、愿意自行编译启用DFlash 2的llama.
Q4_K_M · 建议预留 2.5 GB 显存；容量估算，未做设备实测。
DeepSeek-V4-Pro-Qwen3.5-9B-MTP-GGUF：数学与理工推理的 9B 蒸馏
DeepSeek-V4-Pro-Qwen3.5-9B-MTP-GGUF 是基于 Qwen3.5-9B 的 9B 参数推理模型，由 DeepSeek-V4-Pro Max Effect 模式教师数据蒸馏，约 25 万数学与 STEM 样本完成 SFT 与 GSPO 强化学习。
Q2_K · 建议预留 5 GB 显存；容量估算，未做设备实测。
Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF：27B混合架构无审查代码助手
基于 Qwen3.8-27B 去审查权重，zerodigest 用 YMQ-Compiler 输出 GGUF 混合精度量化版，主打本地代码智能体与 RooCode/Aider 类工具。提供约 9.
Q4_K_S · 建议预留 2 GB 显存；容量估算，未做设备实测。
NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF：适合小设备的一般推理与代理任务
该模型是4B 参数的英文文本生成模型，采用循环式潜在递归架构，面向通用推理、代码、工具调用及代理任务，并可调节循环次数。适合希望在较小内存设备上本地运行、能够接受英文交互的开发者。现有 GGUF 仅见 Q5_K_M，文件约 3.67GB；建议按资料预留 8GB 内存或 5GB 显存，llama.
Q5_K_M · 建议预留 5 GB 显存；容量估算，未做设备实测。
Nanbeige4.2-3B-GGUF：3B参数中文轻量对话量化
Nanbeige4.2-3B-GGUF 是基于 Nanbeige4.2-3B 的 GGUF 量化合集，参数规模 3B，支持中英文文本生成。提供 Q2 到 Q8 共 8 档量化，适合硬件资源有限的本地用户。极小文件 Q2/Q3 适合老旧设备与最低 4GB 内存环境；Q5/Q6/Q8 保留更多质量但需要 3GB 以上显存。
Q2_K · 建议预留 3 GB 显存；容量估算，未做设备实测。
ZONOS3-Mini：多语言语音合成与高保真音色克隆
ZONOS3-Mini 是 Zyphra 的紧凑型开源语音合成模型，支持 43 种语言，可用参考音频克隆音色，并控制情绪、语速与表达。模型共 800M 参数、每 token 约激活 100M，适合游戏、旁白和语音助手。需按用途选择 GGUF 组件并配置运行环境；普通设备的实际速度无法仅凭文件信息保证。
GGUF · 建议预留 2 GB 显存；容量估算，未做设备实测。
TIPOv2-1B-A200M：文生图提示词扩写专家
TIPOv2-1B-A200M 是一个 1B 总参数、每 token 仅激活约 200M 的稀疏 MoE 模型，专门把用户输入的简短提示词扩写为更详细的长描述，供 Stable Diffusion 等文生图扩散模型使用。
Q8_0 · 建议预留 2.5 GB 显存；容量估算，未做设备实测。