← 返回模型库

mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF

DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF:面向本地推理与工具调用的9B模型

该仓库提供9B 参数静态 GGUF,标签覆盖中英等多语文本生成、推理、数学、科学、工具与函数调用,适合想在个人设备本地运行文本任务、并接受较低内存占用的中文用户。Q4_K_S 与 Q4_K_M 文件约5.5GB、5.7GB,仓库标注为快速且推荐;实际速度与效果未说明。

本地推理工具调用多语文本9B模型
查看模型源页面 ↗
近30天源站下载量
37.8万
参数
9B
上下文
未说明
架构 / 任务
未分类
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

该条目是 mradermacher 制作的静态 GGUF 量化仓库,对应 xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic 基座,并列出文本模型及多模态投影补充文件。模型侧标签指向多语文本生成、推理、数学、STEM、工具使用和函数调用,许可证为 Apache-2.0;但具体架构、上下文长度、训练方法细节和基准结果,模型卡未说明。量化仓库负责文件打包与压缩,运行侧可用 Ollama、llama.cpp 或 LM Studio;模型能力评价不能等同于量化文件质量。

更适合谁

  • 需要在个人设备本地运行多语文本任务的中文用户
  • 希望尝试推理、数学与科学问答场景的用户
  • 需要集成工具调用或函数调用功能的本地应用开发者
  • 希望按 4GB 至 10GB 显存区间选择量化文件的用户

典型使用场景

  • 本地多语聊天、文本生成与内容改写
  • 围绕数学、逻辑推理和科学主题进行辅助问答
  • 工具调用、函数调用及智能体流程原型验证
  • 离线或私有环境中的本地文本任务

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

多语文本生成

语言标签覆盖中文、英语、韩语、日语、西班牙语和俄语

推理与数学 STEM

标签包含 reasoning、math 和 stem,定位偏向推理及科学技术内容

工具调用能力

标签包含 tool-use 与 function-calling,适合工具编排原型

9B 参数规模

参数配置为9B,静态量化文件覆盖 Q2_K 至 F16 等多个档位

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 4 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • Q4_K_S 与 Q4_K_M 在仓库说明中标为快速且推荐,可作为通用起点
  • IQ4_XS 与相近体积量化文件比较时,README 表示 IQ 量化通常更值得优先考虑
  • Q8_0 被仓库标注为最佳质量;追求质量且显存充足时可优先考虑
  • Q3_K_M 被标注为较低质量,F16 被标注为 overkill,均不宜作为节省资源时的首选

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
Q2_K3.6 GB4 GB5 GB8 GB下载文件 ↗
Q3_K_S4.0 GB4.5 GB5.5 GB8 GB下载文件 ↗
Q3_K_M4.3 GB5 GB6 GB8 GB下载文件 ↗
Q3_K_L4.6 GB5 GB6 GB8 GB下载文件 ↗
IQ4_XS4.9 GB5.5 GB6.5 GB8 GB下载文件 ↗
Q4_K_S5.0 GB5.5 GB6.5 GB8 GB下载文件 ↗
Q4_K_M5.2 GB6 GB7 GB8 GB下载文件 ↗
Q5_K_S5.9 GB6.5 GB7.5 GB9 GB下载文件 ↗
Q5_K_M6.0 GB7 GB8 GB9.5 GB下载文件 ↗
Q6_K6.9 GB7.5 GB9 GB10.5 GB下载文件 ↗
Q8_08.9 GB10 GB11.5 GB13.5 GB下载文件 ↗
F1617 GB18.5 GB21.5 GB25.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 4GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 5GB。

阅读 8GB 显存选型指南 →

可以怎样运行

  • 可通过 Ollama 加载该 GGUF 模型
  • 可通过 llama.cpp 加载 GGUF 文件
  • 可通过 LM Studio 查找并运行该量化模型

采用前要知道的限制

  • 具体架构、上下文长度、任务定义和训练细节,模型卡未说明
  • 没有提供可用于比较回答质量、推理准确率或工具调用成功率的基准结果
  • 内存与显存数字仅来自仓库估算,额外系统占用及上下文缓存需求未说明
  • uncensored、decensored、abliterated 仅是标签描述,实际内容边界未经验证