← 返回模型库

unsloth/Ornith-1.5-122B-GGUF

Ornith-1.5-122B-GGUF:面向编码与智能体任务的大型推理模型

Ornith-1.5-122B 是面向代码、推理与智能体任务的 122B MOE 文本生成模型,模型卡强调终端编码代理、工具调用和长上下文。它适合拥有大型本地算力、能配置 vLLM 或 SGLang 的开发者。本 GGUF 仓库最低量化仍需约 41GB 显存或 47GB 内存,普通个人电脑不宜轻易尝试。

代码智能体本地推理工具调用长上下文
查看模型源页面 ↗
近30天源站下载量
9.1万
参数
122B
上下文
未说明
架构 / 任务
text-generation
许可证
mit

MODEL POSITIONING

这个模型解决什么问题?

模型能力方面,Ornith-1.5-122B 是 122B MOE 文本生成模型,模型卡将其定位于终端编码、复杂推理和智能体任务,默认先生成推理块,并支持 OpenAI 风格工具调用;原生上下文最高 262,144 tokens。量化仓库方面,Unsloth 提供从 IQ1_M 到 BF16 的 GGUF 文件,但最低资源档仍需 47GB 内存或 41GB 显存。运行工具方面,模型卡推荐 vLLM、SGLang,仓库标签支持 Ollama、llama.cpp 和 LM Studio。中文专项表现、具体激活参数量及速度模型卡未说明。

更适合谁

  • 需要本地运行代码模型和终端编码代理的开发者
  • 需要工具调用与智能体工作流的研发人员
  • 配备大显存或大容量内存的本地推理用户
  • 需要处理超长上下文任务的测试团队

典型使用场景

  • 理解大型代码库并辅助完成代码修改
  • 接入 OpenCode 等终端编码工具
  • 构建带函数调用的智能体流程
  • 处理超长代码或文档上下文

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

终端编码代理

模型卡称其针对终端式编码代理优化,适合代码库理解与自动化开发任务

推理生成

定位于复杂推理任务,默认回答会先输出推理块,再给出最终答案

工具调用

支持函数调用,并由 vLLM、SGLang 等服务工具解析为标准 tool_calls

长上下文

模型卡说明原生支持最高 262,144 tokens,并可通过 YaRN 扩展

MOE 部署定位

122B MOE 架构是模型卡公开的核心定位,GGUF 提供多种资源档位

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 41 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 资源有限时可比较 IQ1_M 与 IQ2_XXS,分别提供本仓库中最低的内存和显存估算门槛
  • Q4_K_XL 资源需求明显更高,适合具备约 92GB 建议显存或 111.5GB 建议内存的设备
  • Q8_0 与 BF16 需要非常大的存储和内存资源,不适合一般消费级设备
  • 模型卡未提供各 GGUF 量化的质量对比,不能据此判断哪种量化质量最好

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_M38 GB41 GB47 GB56.5 GB下载文件 ↗
IQ2_XXS39 GB42.5 GB48.5 GB59 GB下载文件 ↗
Q2_K_XL41 GB45 GB51.5 GB62.5 GB下载文件 ↗
IQ3_XXS46 GB50 GB57 GB69.5 GB下载文件 ↗
Q3_K_XL需全部分卷56 GB60.5 GB69 GB83.5 GB查看文件组 ↗
Q4_K_XL需全部分卷74 GB80.5 GB92 GB111.5 GB查看文件组 ↗
Q5_K_XL需全部分卷88 GB95.5 GB109 GB132.5 GB查看文件组 ↗
Q6_K_XL需全部分卷106 GB115 GB131 GB160 GB查看文件组 ↗
Q8_0需全部分卷123 GB133.5 GB152.5 GB185.5 GB查看文件组 ↗
BF16需全部分卷232 GB251 GB286 GB348.5 GB查看文件组 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 41GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 47GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • 可通过 Ollama、llama.cpp 或 LM Studio 运行仓库中的 GGUF
  • 正式服务建议使用 vLLM 0.19.1 及以上或 SGLang 0.5.9 及以上
  • Transformers 5.8.1 及以上可用于模型加载,vLLM 与 SGLang 可提供兼容接口
  • 可将编码 CLI、Python 或 Node.js 客户端连接到兼容接口进行工具调用

采用前要知道的限制

  • 本仓库各量化均具有较高资源门槛,低阶量化也不适合普通个人电脑
  • 模型卡未说明中文专项能力、具体激活参数量和各量化速度
  • 默认输出包含推理块,需要近期运行时或兼容解析器分离推理与正文
  • YaRN 扩展会静态作用于请求,可能轻微影响普通长度输入质量;仓库也未列出移动版 GGUF