近30天源站下载量
28.4万
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
mit
MODEL POSITIONING
这个模型解决什么问题?
区分模型能力、量化仓库、运行工具。模型能力:35B 参数的 MoE 架构,256 专家 8 激活,原生支持中英文与图像输入,擅长代码修复与多轮对话,但通用知识与推理偏弱。量化仓库:本仓库是基于 Ornith-1.5-35B-A3B 的自有 imatrix 加 Unsloth Dynamic 量化版,携带 Sharp 聊天模板,未保留多 token 预测头。运行工具:模型卡未给出具体命令细节,已声明支持 llama.cpp、Ollama、LM Studio 运行时。
更适合谁
- 需要本地代理式代码修复与多轮编码协作的开发者
- 希望在 24 GB 组合内存或显存上跑 MoE 的本地推理用户
- 偏好简短直接回答、减少追问回合的代码协作场景
- 需要附带视觉识别能力的本地编码助手用户
典型使用场景
- 本地代理式代码修复与持续多轮编码协作
- 截图、报错堆栈、设计稿的图像理解与编码辅助
- 长上下文代码审查与对话型开发
- 轻量级日常问答与简短多轮对话(不擅长专业考试)
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
代理式编码表现突出
SWE-bench-Live 修复 12/25 题,与 Opus 4.6 medium 同档
多轮对话质量领先
Claw-Eval 多轮任务 67.2,高于同档多数对手
MoE 架构资源占用低
256 专家 8 激活,KV 占用小,可在较小显存运行
支持视觉输入
继承基座视觉塔,可识别截图、报错堆栈与设计稿
自有 imatrix 量化
使用自校准的 imatrix 文件,可由用户自行切档
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 12.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 不要为了塞进显存就降到 UD-Q4 以下,应让模型与上下文分布在 RAM+VRAM 合计
- 24 GB 起步推荐 UD-Q4_K_XL,是模型卡基准测试档
- 32 GB 推荐 UD-Q5_K_XL,48 GB 选 UD-Q6_K_XL 接近无损
- 自带 imatrix 文件可让用户自行切分其他未提供的量化档
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q2_K_XL | 11 GB | 12.5 GB | 14.5 GB | 17.5 GB | 下载文件 ↗ |
| IQ3_XXS | 12 GB | 13.5 GB | 15.5 GB | 18.5 GB | 下载文件 ↗ |
| Q3_K_XL | 16 GB | 17 GB | 19.5 GB | 24 GB | 下载文件 ↗ |
| IQ4_XS | 17 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
| Q4_K_S | 19 GB | 21.5 GB | 24.5 GB | 29.5 GB | 下载文件 ↗ |
| Q4_K_XL | 21 GB | 22.5 GB | 26 GB | 31.5 GB | 下载文件 ↗ |
| Q5_K_XL | 25 GB | 27 GB | 31 GB | 37.5 GB | 下载文件 ↗ |
| Q6_K_XL | 30 GB | 32.5 GB | 37 GB | 44.5 GB | 下载文件 ↗ |
| Q8_K_XL | 36 GB | 39 GB | 44.5 GB | 54 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 12.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 14.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp 的 llama-server 或 llama-quantize 加载 GGUF 文件
- 通过 Ollama 创建模型并替换为所需 GGUF 量化文件
- 在 LM Studio 中直接加载 GGUF 量化文件
- 启用视觉需额外加载共享的 mmproj-BF16.gguf 投影文件
采用前要知道的限制
- MMLU-Pro 仅 73.7,比同档 Nail 落后 10.3 分
- 主动追问较少,对模糊需求可能直接作答而非澄清
- 仅支持中文与英文,继承自基座限制
- 当前版本未带多 token 预测头,需要投机解码的用户需另寻版本