近30天源站下载量
6528
参数
未知
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
模型能力方面，模型卡将其描述为在 Swift 1.5 后训练权重基础上做 heretic 消融的版本，校准语料覆盖思维链、系统提示、设计与架构、工具调用、数学、空间推理与逆向工程等十类，作者称移除拒答的同时保住了推理能力与输出长度，但未提供公开跑分或基线对比。量化仓库方面，本仓库只发布 GGUF 与 Strata 预打包运行包，含 IQ4_NL、IQ4_XS-plus、IQ3_S-85G 三套自定义混合位分配方案，差别在于各层敏感度的比特分配。运行工具方面，标签显示兼容 Ollama、llama.cpp、LM Studio 端点，并附带 Strata 引擎运行包。模型卡未说明上下文长度、总参数量与多模态表现细节。
更适合谁
- 从事二进制、固件、协议逆向的授权安全研究者
- 需要直接、不做道德说教回答的技术用户与 CTF 练习者
- 具备多卡服务器或大内存工作站环境的团队
- 需要大体积量化权重做本地离线推理的高级用户
典型使用场景
- 逆向工程与固件、协议格式分析
- 代码审查、API 规划与重构思路讨论
- 授权渗透测试研究与 CTF 题目练习
- 需要不受拒答限制的技术问答与方案讨论
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
逆向工程专项语料
校准集新增反汇编、反编译 critiques、ELF/PE/Mach-O 分析、反调试、字符串去混淆、CFG 扁平化与去虚拟化等约 43k tokens 内容
无拒答直答取向
heretic 消融刻意移除拒答行为，模型卡强调使用者自行承担合规责任
保留推理与输出长度
与权重作者 jeffpeng3 协作，作者称消融同时维持了推理能力和回答长度
激活能量驱动的位分配
把 8-bit/5-bit 集中在 36–47 层热尾，28 个平坦中层降至 2-bit 以压缩体积
结构张量保留精度
路由保持 BF16，层 0 注意力门保留未压缩，51B 参数 n-gram 表设 IQ4_NL 下限
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 85.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 三个量化均源自同一 heretic v2 F16 权重与融合 imatrix（837 条目、399,876 tokens，叠加 AtomicChat 通用基线）
- IQ4_NL 是模型卡 gguf 字段默认指向的量化，体积最大、热尾保真最好
- IQ4_XS-plus 在六个最热层把专家张量从 IQ3_S 提到 IQ4_XS
- IQ3_S-85G 用 80/20 融合矩阵求解位分配，体积最小但错误集中在低敏感层，质量与速度需自行实测
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 85.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 97.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- Ollama、llama.cpp、LM Studio 端点直接加载 GGUF
- Strata 引擎预打包 zip，含 dense.bin、index.txt、native_experts.txt、conversions.json 与分词器
- 需搭配 mmproj 视觉投影组件，模型卡说明已为其预留显存余量
- IQ3_S-85G 所用格式为 Volta 原生编译内核，模型卡称在同款 3 卡机上无需 CPU 回退
采用前要知道的限制
- 模型卡未说明总参数量、上下文长度与多模态输入规格
- 拒答被移除，存在合规与滥用风险，遵循 Swift Open License v1.0 与 Qwen 社区许可
- 消融效果与位分配收益均为作者自述，无第三方评测或基线对比数据
- 本仓库仅提供量化权重与运行包，不含原始 F16 权重与训练数据