近30天源站下载量
94.4万
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
mit
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,模型卡将 Cyber-Tiel 定位为代理式编码与网络安全取向的 35B-A3B MoE,底模为移除拒绝机制的 Huihui-Ornith-1.5,含视觉塔和 MTP 推测头,但更偏工作任务而非常识问答。量化仓库提供多档 Unsloth Dynamic GGUF,Q4_K_M 是模型卡评测所用档位,Q4_K_XL 被标为推荐起点。运行层面支持 llama.cpp、Ollama 与 LM Studio;MTP 需在 llama.cpp 显式启用,否则应改选非 MTP 版本。模型卡未说明跨设备统一速度表现。
更适合谁
- 从事代码库修复、功能开发与复杂编程任务的开发者
- 需要中英文代理式编码或网络安全辅助的用户
- 拥有较高内存或显存,并能隔离运行环境的专业用户
典型使用场景
- 自动分析并修改大型代码库
- 编写测试、修复缺陷与实现复杂功能
- 辅助网络安全分析、CTF 和授权安全测试
- 结合视觉投影器进行图文代码理解
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
代理式编码
面向真实代码库问题、跨文件修改和多步骤开发任务
网络安全取向
移除拒绝机制,可处理渗透分析、CTF 等安全研究任务
专项动态量化
使用面向代码与网络安全的 imatrix 制作多档 Unsloth Dynamic GGUF
MTP 推测解码
内置多词元预测头,经 llama.cpp 校验后用于推测生成
视觉输入
可配合 mmproj-BF16.gguf 投影器处理图片输入
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 13 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 优先选择 UD-Q4_K_XL,模型卡将其标为推荐起点
- UD-Q4_K_M 是模型卡进行 SWE-bench-Live 与 Cybench 测试所用档位
- 16GB 级设备可选 IQ3_XXS,相比 Q2_K_XL 多占不到 1GB,模型卡建议优先选择它
- 需要较大上下文和代理式编码时不宜为塞入显存而降到 Q2_K_XL;Q6_K_XL 更接近无损,Q8_K_L 作为参考档
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q2_K_XL | 12 GB | 13 GB | 15 GB | 18 GB | 下载文件 ↗ |
| IQ3_XXS | 13 GB | 14 GB | 16 GB | 19 GB | 下载文件 ↗ |
| IQ3_S | 13 GB | 14.5 GB | 16.5 GB | 20 GB | 下载文件 ↗ |
| Q3_K_XL | 16 GB | 17.5 GB | 20 GB | 24.5 GB | 下载文件 ↗ |
| IQ4_XS | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
| Q4_K_S | 20 GB | 21.5 GB | 24.5 GB | 30 GB | 下载文件 ↗ |
| Q4_K_M | 21 GB | 23 GB | 26.5 GB | 31.5 GB | 下载文件 ↗ |
| Q4_K_XL | 21 GB | 23 GB | 26.5 GB | 32 GB | 下载文件 ↗ |
| Q5_K_S | 24 GB | 25.5 GB | 29.5 GB | 35.5 GB | 下载文件 ↗ |
| Q5_K_XL | 25 GB | 27.5 GB | 31.5 GB | 38 GB | 下载文件 ↗ |
| Q6_K_XL | 30 GB | 32.5 GB | 37.5 GB | 45.5 GB | 下载文件 ↗ |
| Q8_K_XL | 36 GB | 39.5 GB | 45 GB | 54.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 13GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 15GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp 时通过 --spec-type draft-mtp 启用 MTP
- MTP 可从 --spec-draft-n-max 1 --spec-draft-p-min 0.0 开始测试,跨配置较稳健可试 --spec-draft-p-min 0.5
- 可通过 Ollama 或 LM Studio 运行,模型卡将两者标记为兼容
- 代理式编码可使用 Pi.dev 工作流;视觉输入需额外加载 mmproj-BF16.gguf
采用前要知道的限制
- 模型经过 abliteration,可能输出有害内容,模型卡强烈建议在操作系统层面隔离代码执行和网络访问
- 更侧重编码与网络安全能力,通用知识、百科问答和考试能力有所牺牲
- 低比特量化会损失能力,模型卡称 Q2_K_XL 不适合代理式编码
- 未在 llama.cpp 显式启用 MTP 时,约 0.4GB 的推测头不会被利用,此时更适合使用非 MTP 版本