← 返回模型库

unsloth/Qwen3.8-Flash-Next-GGUF

Qwen3.8-Flash-Next-GGUF:面向多模态推理与本地代理部署

Qwen3.8-Flash-Next 是带视觉编码器的因果语言模型,面向多模态推理、编程、工具调用与代理任务。模型卡称其为实验性预览,配置为 125B 总参数、6B 激活参数。适合拥有大容量内存或显存、并能使用 llama.cpp 的高级用户;最低 GGUF 档也需约 77.5GB RAM,门槛很高。

多模态推理编程代理本地部署长上下文
查看模型源页面 ↗
近30天源站下载量
196.9万
参数
未知
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other

MODEL POSITIONING

这个模型解决什么问题?

能力层面,基础模型 Qwen/Qwen3.8-Flash-Next 是带视觉编码器的因果语言模型,模型卡列出 125B 总参数、6B 激活参数、51B N-gram embedding 与 4B MTP,原生上下文 262,144 tokens,并称可扩展至 1,000,000;覆盖文本与图像输入、推理、编程、工具使用及代理任务。仓库层面,unsloth/Qwen3.8-Flash-Next-GGUF 提供 IQ、Q2、Q3、Q4、Q5、Q6、Q8_0 量化,并推荐 llama.cpp、Strata 或 Unsloth 应用。工具影响功能兼容性与实际表现;模型卡未说明各量化在具体设备上的速度。

更适合谁

  • 需要本地运行大型多模态、编程与工具调用模型的高级用户
  • 配置了 80GB 以上显存或 128GB 以上系统内存的工作站用户
  • 愿意使用实验性架构并自行处理长上下文配置的模型开发者

典型使用场景

  • 图文问答、图表分析与视觉网页开发
  • 智能体编程、仓库级代码生成和多语言软件工程
  • 工具调用、桌面操作与长期办公代理
  • 超长文档分析、视频理解和研究型推理

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

图文多模态

属于带视觉编码器的因果语言模型,可处理文本、图像及模型卡所列的长视频理解任务

编程与代理任务

模型卡覆盖智能体编程、仓库级代码生成、工具使用和长期办公任务

超长上下文

原生支持 262,144 tokens,并称可通过 RoPE scaling 扩展至 1,000,000 tokens

稀疏参数设计

包含 512 个专家,每次路由 10 个专家并使用 1 个共享专家,另有 N-gram embedding

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 67 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 资源最紧张时可在 IQ1_S 与 IQ1_M 中选择,二者都要求极高内存配置
  • 想减少相对 IQ1 档的压缩程度,可考虑 IQ2_0、IQ2_XS、IQ3_XXS 或 Q3_K_XL
  • 资源允许且更重视高比特档时,可考虑 Q4_K_XL、Q5_K_XL、Q6_K_XL 或 Q8_0
  • 下载前应同时核对分片数量、完整文件大小以及推理框架对该量化格式的支持

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_S需全部分卷62 GB67 GB76.5 GB93 GB查看文件组 ↗
IQ1_M需全部分卷63 GB68.5 GB78.5 GB95.5 GB查看文件组 ↗
Q2_0需全部分卷66 GB71 GB81 GB99 GB查看文件组 ↗
IQ2_XS需全部分卷71 GB76.5 GB87.5 GB106 GB查看文件组 ↗
Q2_K_XL需全部分卷74 GB80.5 GB92 GB111.5 GB查看文件组 ↗
IQ3_XXS需全部分卷78 GB84.5 GB96.5 GB117 GB查看文件组 ↗
Q3_K_XL需全部分卷83 GB90 GB102.5 GB125 GB查看文件组 ↗
IQ4_XS需全部分卷87 GB94.5 GB108 GB131 GB查看文件组 ↗
Q4_K_XL需全部分卷104 GB112 GB128 GB156 GB查看文件组 ↗
Q5_K_XL需全部分卷147 GB159.5 GB182 GB221.5 GB查看文件组 ↗
Q6_K_XL需全部分卷158 GB170.5 GB194.5 GB236.5 GB查看文件组 ↗
Q8_0需全部分卷175 GB189.5 GB216 GB263 GB查看文件组 ↗
BF16需全部分卷330 GB356.5 GB406 GB495 GB查看文件组 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 67GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 76.5GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • llama.cpp:模型卡明确推荐的运行方式,可配合 GGUF 量化使用
  • Unsloth 应用或 Strata:模型卡为该仓库列出的运行选择
  • Ollama:资料标记为兼容,可在导入模型后使用
  • LM Studio:资料标记为兼容,可用于本地交互和模型管理

采用前要知道的限制

  • 模型卡将 Qwen3.8-Flash-Next 定义为实验性预览,架构与兼容性仍可能变化
  • 许可证标记为 other,具体名称为 qwen-community-1.0,商用或分发前应核对许可条款
  • 所有所列 GGUF 均需要大型内存配置,6B 激活参数不代表文件只需容纳 6B 权重
  • 模型卡未说明各量化在具体消费级设备上的速度;扩展至 1,000,000 tokens 需要 RoPE scaling,静态 YaRN 可能影响短文本表现