近30天源站下载量
68.7万
参数
4B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型能力源自基座 XHToken/Spark-X2.5-4B，定位为面向小显存 GPU 与 16GB 以下内存开发者的代码模型，强调安全与系统代码方向；通用写作或多语言表现模型卡未说明。仓库是该 4B 模型的 GGUF 量化集，含 Q4_K_XL、Q5_K_XL、Q6_K_XL 与一份 cyber 加权 imatrix，并附 Sharp-Spark 修复模板与可二次量化的 jinja 模板。运行依赖合并 spark2_5 架构的较新 llama.cpp，可通过 llama.cpp、Ollama、LM Studio 加载。
更适合谁
- 拥有 6GB 显存以内家用显卡、16GB 以下内存的本地开发者
- 需要在单卡上跑长上下文进行代码续写与系统编程的用户
- 希望自行调整量化或模板的 llama.cpp 高级用户
典型使用场景
- 安全方向代码生成、审计与重构
- 系统编程、脚本与工具链开发
- 长文档上下文下的代码续写与问答
- 通过 llama-server 接入工具的本地自动化流水线
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
长上下文保持力
9/36 全注意力加 512 滑窗的混合架构，KV 缓存增长平缓，4B 模型在 131k 仍可用
小显存友好
Q6_K_XL 仅 3.61 GB，可在 6GB 显存 GPU 上保留较长上下文空间
代码与安全定向
cyber 加权 imatrix 基于安全与系统代码语料，Sharp 模板修正了系统提示与工具块渲染
工具调用兼容
DeepSeek 风格工具调用经 llama-server --jinja 解析为标准 OpenAI tool_calls
模板与 imatrix 透明
仓库附带 chat_template.jinja 与 cyber imatrix，支持自量化与二次定制
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 3 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 优先选择 Q6_K_XL：模型卡声明其 SWE 性能已验证
- 显存紧张或追求更大上下文时降到 Q4_K_XL，可在 6GB 卡上留出 128k 上下文空间
- 想做其它档位可用仓库自带的 cyber imatrix 通过 llama-quantize 烘焙
- 文件名带 cyber.imatrix 的版本是 imatrix 数据本身，用于二次量化而非直接加载
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 3GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 4GB。
阅读 4GB 显存选型指南 →可以怎样运行
- llama.cpp（须支持 spark2_5 架构 PR #27868）通过 llama-server 加载，可用 --jinja 启用工具调用
- Ollama 可直接加载 Q4/Q5/Q6_K_XL 三档 GGUF
- LM Studio 同样支持，无需 MTP 或 draft head
- 模板可通过 llama-server --chat-template-file chat_template.jinja 在自有量化上复用
采用前要知道的限制
- 模型卡未说明代码以外场景、通用写作与多语言能力的具体表现
- 4B 模型对低于 Q6 的量化较敏感，Q4 以下建议改换更小的原生模型
- 无视觉组件、无 MTP 与 draft head，长上下文仍受 KV 缓存空间制约
- 必须使用合并了 spark2_5 架构支持的较新 llama.cpp 构建才能加载