近30天源站下载量
421.4万
参数
未知
上下文
未说明
架构 / 任务
image-text-to-text
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型卡与标签将其定位为中英文、图像输入、推理和长上下文 MoE，原生上下文 262,144 令牌，并提及 48 层、512 个路由专家；模型卡未说明全模型总参数规模。仓库不是重新训练，而是向 ISTA-DASLab 的 GSQ-RCO GGUF 移植 144 个消融张量；其称其余 1079 个张量未变，并校验了 IQ3_S，但未做大规模消融评测。运行方面，较新的 llama.cpp 可加载标准权重，图像任务另需 mmproj；Strata 需重建 native pack，MTP 文件有兼容限制。
更适合谁
- 需要在本地运行中英文多模态推理的高级用户
- 拥有 78 GB 以上内存及高端多核主机的使用者
- 研究拒答方向消融、GSQ 量化或张量移植的开发者
典型使用场景
- 中英文文本生成、问答与推理实验
- 使用 mmproj 描述图片并围绕图像提问
- 阅读和整理长篇技术资料或多轮对话
- 在具备审核与访问控制的隔离环境中测试拒答行为
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
双语多模态
任务标签为 image-text-to-text，模型卡列出英文与简体中文支持
长上下文
模型卡标注原生上下文为 262,144 令牌
MoE 推理结构
标签包含 MoE、mixture-of-experts 与 reasoning，并提及 48 层和 512 个路由专家
可核验的量化移植
144 个目标张量被替换，其余 1079 个张量未变，IQ3_S 提供了逐张量校验
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 67.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- Q2_0 在列出的条目中下载量最小，IQ3_S 最大；模型卡未说明各量化档位的质量排序，应先按实际内存与显存余量选择
- 每个量化档位包含两个分片，第二分片约 28.80 GB；图像任务还需约 0.91 GB 的 mmproj
- 第二分片是逐层 n-gram 查表，资料称其含 51.2B 参数；该数字不代表全模型总参数规模
- 仓库不提供 BF16 或高精度版本，模型卡建议需要无损权重时改用基础模型
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 67.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 77GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 较新的 llama.cpp 可使用 llama-cli 加载文本权重；来源兼容字段同时标注 Ollama 与 LM Studio，但未提供后二者的具体配置
- 图像任务可使用 llama-mtmd-cli，并加载 mmproj-Qwen3.8-Flash-Next-BF16.gguf
- llama.cpp 的推测解码可搭配仓库根目录的 mtp-Qwen3.8-Flash-Next-Q4_0.gguf
- Strata 需要针对本仓库权重重建 native pack，并使用其专用运行时文件；不能直接沿用官方模型的 native_experts.txt
采用前要知道的限制
- 已移除可靠的内置护栏，可能响应有害、违法或不安全请求，不应直接面向终端用户
- 消融行为仅做少量提示抽查，没有大规模效果评测，不能据此判断综合质量
- 262,144 令牌上下文的 KV 缓存会随上下文增长，模型卡建议从 32,768 上下文逐步增加
- MTP 草稿头取自原始检查点，并未经过消融；Strata 专用 MTP 文件也不能直接用于 llama.cpp