近30天源站下载量
9.1万
参数
122B
上下文
未说明
架构 / 任务
text-generation
许可证
mit
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,Ornith-1.5-122B 是 122B MOE 文本生成模型,模型卡将其定位于终端编码、复杂推理和智能体任务,默认先生成推理块,并支持 OpenAI 风格工具调用;原生上下文最高 262,144 tokens。量化仓库方面,Unsloth 提供从 IQ1_M 到 BF16 的 GGUF 文件,但最低资源档仍需 47GB 内存或 41GB 显存。运行工具方面,模型卡推荐 vLLM、SGLang,仓库标签支持 Ollama、llama.cpp 和 LM Studio。中文专项表现、具体激活参数量及速度模型卡未说明。
更适合谁
- 需要本地运行代码模型和终端编码代理的开发者
- 需要工具调用与智能体工作流的研发人员
- 配备大显存或大容量内存的本地推理用户
- 需要处理超长上下文任务的测试团队
典型使用场景
- 理解大型代码库并辅助完成代码修改
- 接入 OpenCode 等终端编码工具
- 构建带函数调用的智能体流程
- 处理超长代码或文档上下文
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
终端编码代理
模型卡称其针对终端式编码代理优化,适合代码库理解与自动化开发任务
推理生成
定位于复杂推理任务,默认回答会先输出推理块,再给出最终答案
工具调用
支持函数调用,并由 vLLM、SGLang 等服务工具解析为标准 tool_calls
长上下文
模型卡说明原生支持最高 262,144 tokens,并可通过 YaRN 扩展
MOE 部署定位
122B MOE 架构是模型卡公开的核心定位,GGUF 提供多种资源档位
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 41 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 资源有限时可比较 IQ1_M 与 IQ2_XXS,分别提供本仓库中最低的内存和显存估算门槛
- Q4_K_XL 资源需求明显更高,适合具备约 92GB 建议显存或 111.5GB 建议内存的设备
- Q8_0 与 BF16 需要非常大的存储和内存资源,不适合一般消费级设备
- 模型卡未提供各 GGUF 量化的质量对比,不能据此判断哪种量化质量最好
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ1_M | 38 GB | 41 GB | 47 GB | 56.5 GB | 下载文件 ↗ |
| IQ2_XXS | 39 GB | 42.5 GB | 48.5 GB | 59 GB | 下载文件 ↗ |
| Q2_K_XL | 41 GB | 45 GB | 51.5 GB | 62.5 GB | 下载文件 ↗ |
| IQ3_XXS | 46 GB | 50 GB | 57 GB | 69.5 GB | 下载文件 ↗ |
| Q3_K_XL需全部分卷 | 56 GB | 60.5 GB | 69 GB | 83.5 GB | 查看文件组 ↗ |
| Q4_K_XL需全部分卷 | 74 GB | 80.5 GB | 92 GB | 111.5 GB | 查看文件组 ↗ |
| Q5_K_XL需全部分卷 | 88 GB | 95.5 GB | 109 GB | 132.5 GB | 查看文件组 ↗ |
| Q6_K_XL需全部分卷 | 106 GB | 115 GB | 131 GB | 160 GB | 查看文件组 ↗ |
| Q8_0需全部分卷 | 123 GB | 133.5 GB | 152.5 GB | 185.5 GB | 查看文件组 ↗ |
| BF16需全部分卷 | 232 GB | 251 GB | 286 GB | 348.5 GB | 查看文件组 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 41GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 47GB。
阅读 24GB 显存选型指南 →可以怎样运行
- 可通过 Ollama、llama.cpp 或 LM Studio 运行仓库中的 GGUF
- 正式服务建议使用 vLLM 0.19.1 及以上或 SGLang 0.5.9 及以上
- Transformers 5.8.1 及以上可用于模型加载,vLLM 与 SGLang 可提供兼容接口
- 可将编码 CLI、Python 或 Node.js 客户端连接到兼容接口进行工具调用
采用前要知道的限制
- 本仓库各量化均具有较高资源门槛,低阶量化也不适合普通个人电脑
- 模型卡未说明中文专项能力、具体激活参数量和各量化速度
- 默认输出包含推理块,需要近期运行时或兼容解析器分离推理与正文
- YaRN 扩展会静态作用于请求,可能轻微影响普通长度输入质量;仓库也未列出移动版 GGUF