近30天源站下载量
35.9万
参数
未知
上下文
未说明
架构 / 任务
image-text-to-text
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
能力定位：模型卡称其为 125B 参数 MoE 模型，重点覆盖代码生成、长上下文和长推理，并提供面向 NVIDIA、AMD 的本地部署方案。量化定位：仓库提供 Gyro-S、Gyro-M、Gyro-L 三个 GGUF 文件，分别对应低、中、高资源档位；TQ1_0、TQ2_0、TQ3_0 是仓库大小类别名，底层采用 trellis 专家量化。运行定位：普通上游 llama.cpp 尚不能加载，需使用 Strata、agentionai/llama.cpp、相关容器或 strix-llama.cpp。模型卡未说明图像输入流程及完整多模态能力边界。
更适合谁
- 拥有 59GB 以上最小显存估算并能承担高内存占用的本地部署用户
- 需要运行 125B 参数 MoE 模型进行代码生成、复杂推理的用户
- 具备 NVIDIA 或 AMD 环境，并愿意配置专用推理工具的开发者
- 研究 trellis 专家量化、GPTQ 风格低比特部署或统一内存推理的用户
典型使用场景
- 本地代码生成、修改与代码库分析
- 复杂问题拆解和多步骤长推理
- 大显存 GPU 或统一内存设备上的离线对话
- trellis 量化格式与专用推理内核的部署测试
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
125B 参数 MoE 架构
模型卡将基础模型描述为 125B MoE，定位偏大模型能力与本地推理
代码与长推理
模型卡重点展示代码生成和长推理场景，适合需要连续分析的技术任务
长上下文运行
模型卡称 Gyro-S、Gyro-M、Gyro-L 支持最高 128k 上下文，但实际占用受运行配置影响
三档资源选择
提供低、中、高三档 GGUF，可在文件体积与可用内存之间取舍
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 59 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 资源有限时优先考察 Gyro-S；它是三者中文件最小、内存和显存估算最低的版本
- 希望提高资源余量时选择 Gyro-M；其体积与资源需求居中，仍属于大型部署
- 追求仓库内更高资源档位时选择 Gyro-L；文件最大，需要约 126.5GB RAM、109GB 显存起步
- TQ1_0、TQ2_0、TQ3_0 仅是 Hub 大小类别名，不能当作普通 GGUF 量化格式理解
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 59GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 67.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- Strata 0.2.0 或更新版本，提供应用、终端与推理引擎，面向 NVIDIA 和指定 AMD Radeon 环境
- agentionai/llama.cpp 或其服务器容器，支持 CPU、Vulkan、CUDA，并可使用 MTP draft
- halo-box/strix-llama.cpp master，面向 CPU、Vulkan 和 HIP，适合 AMD Strix Halo 场景
- Gyro-L 需要具备对应内核的较新 Strata 分支或当前版 agentionai/llama.cpp；模型卡称可提供 OpenAI 兼容接口
采用前要知道的限制
- 上游 llama.cpp 尚不能直接加载这些文件，通用部署流程不完整
- 模型卡标记为 experimental，所列质量与速度结果均来自其特定样本、硬件和构建环境
- 模型卡未说明图像输入流程，也未说明任务标签所对应 image-text-to-text 的完整能力边界
- 权重来自未公开的自有编码器；模型卡虽列出 Ollama 与 LM Studio 兼容性，但未给出可加载验证步骤