近30天源站下载量
6.1万
参数
8B
上下文
未说明
架构 / 任务
llama
许可证
llama3.1
MODEL POSITIONING
这个模型解决什么问题？
模型能力来自官方模型卡描述：基于Dolphin3.0-Llama3.1-8B-abliterated基座微调，主攻攻防渗透、漏洞研究、漏洞利用开发与防御加固等网络安全任务并移除对齐限制；训练数据细节、微调方法与上下文长度模型卡未说明。本仓库是RavichandranJ发布的GGUF量化分发版本，提供从Q2_K到F16的传统K-quant、IQ1到IQ4的I-quant、bf16与f16以及若干i1变体。GGUF格式天然兼容llama.cpp生态，覆盖Ollama、LM Studio、Jan、Open WebUI等前端。基准测试成绩、对话模板细节模型卡未说明。
更适合谁
- 需要在本地处理敏感攻防任务的红队与蓝队安全工程师
- 备战CTF、漏洞赏金或渗透测试项目的安全研究者与学生
- 拥有消费级或专业级显卡、追求数据不离本地的隐私敏感用户
典型使用场景
- 渗透测试方法、漏洞利用思路与脚本辅助生成
- Web与二进制代码审计、OWASP Top 10漏洞分析
- CTF题目思路提示与解题步骤辅助
- 防御加固建议、防火墙规则与基线检查清单
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
攻防双面专精
同时覆盖渗透测试、漏洞利用开发、防御加固与应急响应话题
去对齐限制
基于abliterated基座，对网络安全相关提问不做常规拒绝
全本地推理
GGUF格式纯本地运行，不上传数据，适合机密评估场景
量化梯度丰富
传统K-quant、I-quant、bf16与f16多档可选，按显存灵活搭配
8B参数基座
基于Llama 3.1生态，对话模板兼容主流GGUF前端
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 3.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 通用首选Q4_K_M，模型卡标记为质量与体积兼顾的推荐档
- 显存紧张可选Q3_K_M或IQ3_M作为最小可用档
- 硬件充足且追求近无损建议Q8_0甚至BF16、F16档
- 部分量化提供i1与I-quant变体，下载前请核对后缀确认质量预期
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q2_K | 3.0 GB | 3.5 GB | 4.5 GB | 8 GB | 下载文件 ↗ |
| Q3_K_M | 3.7 GB | 4.5 GB | 5.5 GB | 8 GB | 下载文件 ↗ |
| Q4_0 | 4.3 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| Q4_K_S | 4.4 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| Q4_K_M | 4.6 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
| Q5_0 | 5.2 GB | 6 GB | 7 GB | 8 GB | 下载文件 ↗ |
| Q5_K_S | 5.2 GB | 6 GB | 7 GB | 8 GB | 下载文件 ↗ |
| Q5_K_M | 5.3 GB | 6 GB | 7 GB | 8.5 GB | 下载文件 ↗ |
| Q6_K | 6.1 GB | 7 GB | 8 GB | 9.5 GB | 下载文件 ↗ |
| Q8_0 | 8.0 GB | 9 GB | 10.5 GB | 12 GB | 下载文件 ↗ |
| F16 | 15 GB | 16.5 GB | 19 GB | 22.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 3.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 4.5GB。
阅读 8GB 显存选型指南 →可以怎样运行
- Ollama命令行直接拉取对应量化标签启动对话
- LM Studio搜索仓库名并选择量化后即可本地加载
- llama.cpp及其前端Jan、Open WebUI均可读取GGUF文件
- llama-cpp-python供Python开发者集成多轮对话
采用前要知道的限制
- 知识截至Llama 3.1基座训练时间，无法获取最新CVE或威胁情报
- 不具备实时联网、工具调用或代码执行能力
- 基准测试成绩与上下文长度模型卡未说明，难以横向对比同规模模型
- 仍可能产生听起来合理但实际错误的细节，关键结论须人工复核
COMPARISON PATH
继续对比同类方案
不要只看单页结论；沿同类用途继续比较能力边界、硬件门槛与维护状态。