近30天源站下载量
113万
参数
未知
上下文
未说明
架构 / 任务
image-text-to-text
许可证
mit
MODEL POSITIONING
这个模型解决什么问题?
这是 deepseek-ai/DeepSeek-V4.1-Flash-1017 的 Unsloth GGUF 量化仓库。模型卡称该版本重点改进推理、编程、智能体任务和视觉表现,并提供思考模式、工具调用及图文交错输入所需的提示编码方案;模型卡未说明具体参数规模和架构。该仓库负责不同精度权重分发,支持 Ollama、llama.cpp 与 LM Studio。由于没有内置 Jinja 聊天模板,生产环境可使用随附 Python 编码实现或 deepseek-recipe;推理、工具执行和 HTTP 传输仍需调用方完成。
更适合谁
- 需要本地处理长文档并调用工具的开发者
- 需要图像输入与图文交错对话的用户
- 具备大容量内存或显存设备的智能体实验者
- 需要比较不同 GGUF 量化取舍的高级用户
典型使用场景
- 长文档问答与上下文分析
- 图像理解和图文交错对话
- 编程辅助与代码库任务
- 智能体工具调用及自动化流程
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
长上下文处理
模型卡建议 1M token 上下文窗口,适合长文档和长对话输入
图文多模态
标签为 image-text-to-text,编码方案支持交错图像内容
推理与编程
模型卡称该版本针对推理、编程及智能体任务进行了改进
工具调用支持
随附编码实现覆盖工具调用、思考模式和系统消息
量化选择丰富
提供 Q8_0、BF16、IQ 与 Q 系列 GGUF 文件
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 8.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 常规本地部署可先比较 Q8_0 与 BF16,两者文件体积接近,但来源未提供质量差异数据
- IQ1_S 是所列文件中体积最小的低比特版本,但仍需约 233 GB 文件空间及数百 GB 级内存或显存
- IQ1_M、IQ2_XXS、Q2_K_XL 等版本同样面向大型内存环境,不适合普通消费级设备
- 所有量化均未附可核验的本地质量排名,不能仅凭名称判断输出质量
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q8_0 | 7.4 GB | 8.5 GB | 10 GB | 11.5 GB | 下载文件 ↗ |
| BF16 | 7.9 GB | 9 GB | 10.5 GB | 12 GB | 下载文件 ↗ |
| IQ1_S需全部分卷 | 217 GB | 234.5 GB | 267.5 GB | 325.5 GB | 查看文件组 ↗ |
| IQ1_M需全部分卷 | 233 GB | 252 GB | 287 GB | 350 GB | 查看文件组 ↗ |
| IQ2_XXS需全部分卷 | 280 GB | 302.5 GB | 344.5 GB | 420 GB | 查看文件组 ↗ |
| Q2_K_XL需全部分卷 | 312 GB | 337 GB | 384 GB | 468 GB | 查看文件组 ↗ |
| IQ3_XXS需全部分卷 | 368 GB | 397.5 GB | 453 GB | 551.5 GB | 查看文件组 ↗ |
| IQ3_S需全部分卷 | 395 GB | 426.5 GB | 486 GB | 592 GB | 查看文件组 ↗ |
| Q3_K_XL需全部分卷 | 452 GB | 488 GB | 556 GB | 678 GB | 查看文件组 ↗ |
| Q4_K_XL需全部分卷 | 466 GB | 504 GB | 574 GB | 699.5 GB | 查看文件组 ↗ |
| Q8_K_XL需全部分卷 | 473 GB | 511.5 GB | 583 GB | 710.5 GB | 查看文件组 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 8.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 10GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 可通过 Ollama、llama.cpp 或 LM Studio 运行,兼容信息已列入仓库标签
- 模型卡要求使用其 llama.cpp 分支或配套应用,以适配该版本
- 可使用仓库 encoding 目录中的 Python 实现处理多轮对话、思考、工具调用和图像内容
- 生产接入可使用 deepseek-recipe 转换消息与 API 请求,推理及工具执行仍由调用方负责
采用前要知道的限制
- 模型卡未说明参数规模和模型架构,参数规模标签也未提供
- 发布内容没有内置 Jinja 格式聊天模板,直接套用通用模板可能无法正确编码
- 除 Q8_0 与 BF16 外,多数文件超过 230 GB,设备存储、内存和显存门槛很高
- 模型卡提及最高 3 倍推理速度,但未给出完整硬件基线,不能据此保证本地速度