← 返回模型库

unsloth/Ornith-1.0-35B-GGUF

Ornith-1.0-35B-GGUF:面向编码代理的开源模型

Ornith-1.0-35B 是基于 Qwen3.5 微调的 35B MoE 模型,主打自主代理式编程,支持工具调用与代码生成。适合需要本地或私有部署智能编码助手、终端自动化脚本与 Agent 框架的开发者。提供 IQ1 到 Q6、BF16 多档 GGUF,最低约 4.

编程代理智能编码终端 AgentGGUF 量化
查看模型源页面 ↗
近30天源站下载量
1万
参数
35B
上下文
未说明
架构 / 任务
text-generation
许可证
mit

MODEL POSITIONING

这个模型解决什么问题?

模型本体基于 Qwen3.5 微调为 35B MoE,主打智能体编程,在 Terminal-Bench 2.1、SWE-bench Verified、NL2Repo 等基准上对同尺寸开源模型表现领先,支持 OpenAI 兼容的工具调用与 reasoning_content 分离输出。本仓库为 unsloth 发布的 GGUF 量化分发版,提供 IQ1 到 Q6 及 BF16 多档选择,遵循 MIT 许可。本地推理推荐 Ollama、LM Studio 或 llama.cpp 直接加载;服务端部署需 vLLM 0.19.1 以上或 SGLang 0.5.9 以上,Transformers 需 5.8.1 以上。

更适合谁

  • 需要本地或私有部署编码代理的研发团队
  • 追求 SWE-bench Verified 等编程基准高分的中大型模型用户
  • 希望在终端或编辑器中接入 OpenAI 兼容 API 的开发者

典型使用场景

  • 仓库级代码理解、改写与跨文件重构
  • 终端编码代理与自动化脚本生成
  • 通过 OpenAI 兼容接口接入 OpenHands、OpenClaw 等 Agent 框架
  • 本地私有化部署的代码问答与调试助手

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

自主代理编程

在 Terminal-Bench 2.1 与 SWE-bench Verified 等基准上对 35B 量级开源模型具备领先得分

工具调用与链式推理

输出含 reasoning_content 与标准 tool_calls,便于 Agent 框架对接

自改进训练框架

通过强化学习联合优化生成过程与脚手架以提升解题质量

多档量化与宽松许可

MIT 许可下提供 IQ1 到 BF16 多档 GGUF,便利本地与商用部署

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 11 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 显存紧张或仅做体验可优先 IQ1/IQ2_M 文件,但质量下降明显
  • 兼顾质量与体积可选择 Q4_K_M 或 IQ4_NL,模型卡称其量化在同类中表现领先
  • 高显存主机可选择 Q5_K_M 或 Q6_K 保留更接近原模型表现
  • BF16 适合对生成质量要求严格且硬件充裕的研究或服务部署

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_S9.8 GB11 GB12.5 GB15 GB下载文件 ↗
IQ1_M10 GB11.5 GB13.5 GB15.5 GB下载文件 ↗
IQ2_XXS11 GB12 GB14 GB16.5 GB下载文件 ↗
IQ2_M11 GB12 GB14 GB16.5 GB下载文件 ↗
Q2_K_XL11 GB12.5 GB14.5 GB17.5 GB下载文件 ↗
IQ3_XXS13 GB14 GB16 GB19.5 GB下载文件 ↗
IQ3_S14 GB15.5 GB18 GB21 GB下载文件 ↗
Q3_K_M16 GB17 GB19.5 GB23.5 GB下载文件 ↗
Q3_K_XL16 GB17 GB19.5 GB23.5 GB下载文件 ↗
IQ4_XS17 GB18 GB20.5 GB25 GB下载文件 ↗
IQ4_NL17 GB18.5 GB21.5 GB25.5 GB下载文件 ↗
Q4_K_S19 GB21.5 GB24.5 GB29.5 GB下载文件 ↗
GGUF20 GB22 GB25.5 GB30.5 GB下载文件 ↗
Q4_K_M21 GB22.5 GB26 GB31 GB下载文件 ↗
Q4_K_XL21 GB22.5 GB26 GB31.5 GB下载文件 ↗
Q5_K_S23 GB25.5 GB29 GB35 GB下载文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 11GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 12.5GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • Ollama 与 LM Studio 可直接加载 GGUF 文件进行本地对话
  • llama.cpp 提供命令行推理与 OpenAI 兼容 HTTP 服务
  • 高吞吐服务建议使用 vLLM 0.19.1 以上或 SGLang 0.5.9 以上启动 OpenAI 兼容端点
  • Transformers 5.8.1 以上可直接加载离线生成,需自行解析 reasoning_content

采用前要知道的限制

  • 35B 规模对消费级硬件压力较大,低档量化质量折损明显
  • 模型卡未提供中文与多语言场景的具体能力说明
  • 完整服务部署依赖较新版本的 vLLM、SGLang、Transformers,旧版本可能无法运行
  • 模型卡未明确给出统一的上下文长度上限,部署时需结合实际配置确认