近30天源站下载量
37.8万
参数
9B
上下文
未说明
架构 / 任务
未分类
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
该条目是 mradermacher 制作的静态 GGUF 量化仓库,对应 xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic 基座,并列出文本模型及多模态投影补充文件。模型侧标签指向多语文本生成、推理、数学、STEM、工具使用和函数调用,许可证为 Apache-2.0;但具体架构、上下文长度、训练方法细节和基准结果,模型卡未说明。量化仓库负责文件打包与压缩,运行侧可用 Ollama、llama.cpp 或 LM Studio;模型能力评价不能等同于量化文件质量。
更适合谁
- 需要在个人设备本地运行多语文本任务的中文用户
- 希望尝试推理、数学与科学问答场景的用户
- 需要集成工具调用或函数调用功能的本地应用开发者
- 希望按 4GB 至 10GB 显存区间选择量化文件的用户
典型使用场景
- 本地多语聊天、文本生成与内容改写
- 围绕数学、逻辑推理和科学主题进行辅助问答
- 工具调用、函数调用及智能体流程原型验证
- 离线或私有环境中的本地文本任务
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
多语文本生成
语言标签覆盖中文、英语、韩语、日语、西班牙语和俄语
推理与数学 STEM
标签包含 reasoning、math 和 stem,定位偏向推理及科学技术内容
工具调用能力
标签包含 tool-use 与 function-calling,适合工具编排原型
9B 参数规模
参数配置为9B,静态量化文件覆盖 Q2_K 至 F16 等多个档位
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 4 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- Q4_K_S 与 Q4_K_M 在仓库说明中标为快速且推荐,可作为通用起点
- IQ4_XS 与相近体积量化文件比较时,README 表示 IQ 量化通常更值得优先考虑
- Q8_0 被仓库标注为最佳质量;追求质量且显存充足时可优先考虑
- Q3_K_M 被标注为较低质量,F16 被标注为 overkill,均不宜作为节省资源时的首选
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q2_K | 3.6 GB | 4 GB | 5 GB | 8 GB | 下载文件 ↗ |
| Q3_K_S | 4.0 GB | 4.5 GB | 5.5 GB | 8 GB | 下载文件 ↗ |
| Q3_K_M | 4.3 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| Q3_K_L | 4.6 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| IQ4_XS | 4.9 GB | 5.5 GB | 6.5 GB | 8 GB | 下载文件 ↗ |
| Q4_K_S | 5.0 GB | 5.5 GB | 6.5 GB | 8 GB | 下载文件 ↗ |
| Q4_K_M | 5.2 GB | 6 GB | 7 GB | 8 GB | 下载文件 ↗ |
| Q5_K_S | 5.9 GB | 6.5 GB | 7.5 GB | 9 GB | 下载文件 ↗ |
| Q5_K_M | 6.0 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| Q6_K | 6.9 GB | 7.5 GB | 9 GB | 10.5 GB | 下载文件 ↗ |
| Q8_0 | 8.9 GB | 10 GB | 11.5 GB | 13.5 GB | 下载文件 ↗ |
| F16 | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 4GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 5GB。
阅读 8GB 显存选型指南 →可以怎样运行
- 可通过 Ollama 加载该 GGUF 模型
- 可通过 llama.cpp 加载 GGUF 文件
- 可通过 LM Studio 查找并运行该量化模型
采用前要知道的限制
- 具体架构、上下文长度、任务定义和训练细节,模型卡未说明
- 没有提供可用于比较回答质量、推理准确率或工具调用成功率的基准结果
- 内存与显存数字仅来自仓库估算,额外系统占用及上下文缓存需求未说明
- uncensored、decensored、abliterated 仅是标签描述,实际内容边界未经验证