近30天源站下载量
1万
参数
35B
上下文
未说明
架构 / 任务
text-generation
许可证
mit
MODEL POSITIONING
这个模型解决什么问题?
模型本体基于 Qwen3.5 微调为 35B MoE,主打智能体编程,在 Terminal-Bench 2.1、SWE-bench Verified、NL2Repo 等基准上对同尺寸开源模型表现领先,支持 OpenAI 兼容的工具调用与 reasoning_content 分离输出。本仓库为 unsloth 发布的 GGUF 量化分发版,提供 IQ1 到 Q6 及 BF16 多档选择,遵循 MIT 许可。本地推理推荐 Ollama、LM Studio 或 llama.cpp 直接加载;服务端部署需 vLLM 0.19.1 以上或 SGLang 0.5.9 以上,Transformers 需 5.8.1 以上。
更适合谁
- 需要本地或私有部署编码代理的研发团队
- 追求 SWE-bench Verified 等编程基准高分的中大型模型用户
- 希望在终端或编辑器中接入 OpenAI 兼容 API 的开发者
典型使用场景
- 仓库级代码理解、改写与跨文件重构
- 终端编码代理与自动化脚本生成
- 通过 OpenAI 兼容接口接入 OpenHands、OpenClaw 等 Agent 框架
- 本地私有化部署的代码问答与调试助手
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
自主代理编程
在 Terminal-Bench 2.1 与 SWE-bench Verified 等基准上对 35B 量级开源模型具备领先得分
工具调用与链式推理
输出含 reasoning_content 与标准 tool_calls,便于 Agent 框架对接
自改进训练框架
通过强化学习联合优化生成过程与脚手架以提升解题质量
多档量化与宽松许可
MIT 许可下提供 IQ1 到 BF16 多档 GGUF,便利本地与商用部署
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 11 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 显存紧张或仅做体验可优先 IQ1/IQ2_M 文件,但质量下降明显
- 兼顾质量与体积可选择 Q4_K_M 或 IQ4_NL,模型卡称其量化在同类中表现领先
- 高显存主机可选择 Q5_K_M 或 Q6_K 保留更接近原模型表现
- BF16 适合对生成质量要求严格且硬件充裕的研究或服务部署
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ1_S | 9.8 GB | 11 GB | 12.5 GB | 15 GB | 下载文件 ↗ |
| IQ1_M | 10 GB | 11.5 GB | 13.5 GB | 15.5 GB | 下载文件 ↗ |
| IQ2_XXS | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| IQ2_M | 11 GB | 12 GB | 14 GB | 16.5 GB | 下载文件 ↗ |
| Q2_K_XL | 11 GB | 12.5 GB | 14.5 GB | 17.5 GB | 下载文件 ↗ |
| IQ3_XXS | 13 GB | 14 GB | 16 GB | 19.5 GB | 下载文件 ↗ |
| IQ3_S | 14 GB | 15.5 GB | 18 GB | 21 GB | 下载文件 ↗ |
| Q3_K_M | 16 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| Q3_K_XL | 16 GB | 17 GB | 19.5 GB | 23.5 GB | 下载文件 ↗ |
| IQ4_XS | 17 GB | 18 GB | 20.5 GB | 25 GB | 下载文件 ↗ |
| IQ4_NL | 17 GB | 18.5 GB | 21.5 GB | 25.5 GB | 下载文件 ↗ |
| Q4_K_S | 19 GB | 21.5 GB | 24.5 GB | 29.5 GB | 下载文件 ↗ |
| GGUF | 20 GB | 22 GB | 25.5 GB | 30.5 GB | 下载文件 ↗ |
| Q4_K_M | 21 GB | 22.5 GB | 26 GB | 31 GB | 下载文件 ↗ |
| Q4_K_XL | 21 GB | 22.5 GB | 26 GB | 31.5 GB | 下载文件 ↗ |
| Q5_K_S | 23 GB | 25.5 GB | 29 GB | 35 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 11GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 12.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- Ollama 与 LM Studio 可直接加载 GGUF 文件进行本地对话
- llama.cpp 提供命令行推理与 OpenAI 兼容 HTTP 服务
- 高吞吐服务建议使用 vLLM 0.19.1 以上或 SGLang 0.5.9 以上启动 OpenAI 兼容端点
- Transformers 5.8.1 以上可直接加载离线生成,需自行解析 reasoning_content
采用前要知道的限制
- 35B 规模对消费级硬件压力较大,低档量化质量折损明显
- 模型卡未提供中文与多语言场景的具体能力说明
- 完整服务部署依赖较新版本的 vLLM、SGLang、Transformers,旧版本可能无法运行
- 模型卡未明确给出统一的上下文长度上限,部署时需结合实际配置确认