← 返回模型库

peculiar-ragdoll/Cyber-Tiel-Coder-35B-A3B-GGUF-MTP

Cyber-Tiel-Coder-35B-A3B-GGUF-MTP:面向代理式编程与网络安全任务的MoE模型

这是面向代理式编程与网络安全任务的 35B-A3B MoE 量化模型,基于移除拒绝机制的 Ornith 变体,提供 MTP 推测解码与可选视觉投影器。适合中英文用户,以及有较高内存或显存、能隔离运行环境的开发者;16GB 级设备可选 3bit,24GB 级设备更适合 4bit。

代理式编程网络安全代码模型GGUF量化
查看模型源页面 ↗
近30天源站下载量
94.4万
参数
35B
上下文
未说明
架构 / 任务
image-text-to-text
许可证
mit

MODEL POSITIONING

这个模型解决什么问题?

模型能力方面,模型卡将 Cyber-Tiel 定位为代理式编码与网络安全取向的 35B-A3B MoE,底模为移除拒绝机制的 Huihui-Ornith-1.5,含视觉塔和 MTP 推测头,但更偏工作任务而非常识问答。量化仓库提供多档 Unsloth Dynamic GGUF,Q4_K_M 是模型卡评测所用档位,Q4_K_XL 被标为推荐起点。运行层面支持 llama.cpp、Ollama 与 LM Studio;MTP 需在 llama.cpp 显式启用,否则应改选非 MTP 版本。模型卡未说明跨设备统一速度表现。

更适合谁

  • 从事代码库修复、功能开发与复杂编程任务的开发者
  • 需要中英文代理式编码或网络安全辅助的用户
  • 拥有较高内存或显存,并能隔离运行环境的专业用户

典型使用场景

  • 自动分析并修改大型代码库
  • 编写测试、修复缺陷与实现复杂功能
  • 辅助网络安全分析、CTF 和授权安全测试
  • 结合视觉投影器进行图文代码理解

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

代理式编码

面向真实代码库问题、跨文件修改和多步骤开发任务

网络安全取向

移除拒绝机制,可处理渗透分析、CTF 等安全研究任务

专项动态量化

使用面向代码与网络安全的 imatrix 制作多档 Unsloth Dynamic GGUF

MTP 推测解码

内置多词元预测头,经 llama.cpp 校验后用于推测生成

视觉输入

可配合 mmproj-BF16.gguf 投影器处理图片输入

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 13 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 优先选择 UD-Q4_K_XL,模型卡将其标为推荐起点
  • UD-Q4_K_M 是模型卡进行 SWE-bench-Live 与 Cybench 测试所用档位
  • 16GB 级设备可选 IQ3_XXS,相比 Q2_K_XL 多占不到 1GB,模型卡建议优先选择它
  • 需要较大上下文和代理式编码时不宜为塞入显存而降到 Q2_K_XL;Q6_K_XL 更接近无损,Q8_K_L 作为参考档

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
Q2_K_XL12 GB13 GB15 GB18 GB下载文件 ↗
IQ3_XXS13 GB14 GB16 GB19 GB下载文件 ↗
IQ3_S13 GB14.5 GB16.5 GB20 GB下载文件 ↗
Q3_K_XL16 GB17.5 GB20 GB24.5 GB下载文件 ↗
IQ4_XS17 GB18.5 GB21.5 GB25.5 GB下载文件 ↗
Q4_K_S20 GB21.5 GB24.5 GB30 GB下载文件 ↗
Q4_K_M21 GB23 GB26.5 GB31.5 GB下载文件 ↗
Q4_K_XL21 GB23 GB26.5 GB32 GB下载文件 ↗
Q5_K_S24 GB25.5 GB29.5 GB35.5 GB下载文件 ↗
Q5_K_XL25 GB27.5 GB31.5 GB38 GB下载文件 ↗
Q6_K_XL30 GB32.5 GB37.5 GB45.5 GB下载文件 ↗
Q8_K_XL36 GB39.5 GB45 GB54.5 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 13GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 15GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • 使用 llama.cpp 时通过 --spec-type draft-mtp 启用 MTP
  • MTP 可从 --spec-draft-n-max 1 --spec-draft-p-min 0.0 开始测试,跨配置较稳健可试 --spec-draft-p-min 0.5
  • 可通过 Ollama 或 LM Studio 运行,模型卡将两者标记为兼容
  • 代理式编码可使用 Pi.dev 工作流;视觉输入需额外加载 mmproj-BF16.gguf

采用前要知道的限制

  • 模型经过 abliteration,可能输出有害内容,模型卡强烈建议在操作系统层面隔离代码执行和网络访问
  • 更侧重编码与网络安全能力,通用知识、百科问答和考试能力有所牺牲
  • 低比特量化会损失能力,模型卡称 Q2_K_XL 不适合代理式编码
  • 未在 llama.cpp 显式启用 MTP 时,约 0.4GB 的推测头不会被利用,此时更适合使用非 MTP 版本