近30天源站下载量
66.6万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型能力方面，该模型面向文本生成、推理、指令遵循、编码及工具调用，可由用户控制是否启用思考；视觉输入依赖额外的 mmproj 文件。量化仓库方面，当前仅提供 27B 参数 IQ2-mix GGUF，主文件约 7.89 GB，定位是在较低显存设备上保留工具调用能力。运行工具方面，模型卡确认支持原生 llama.cpp，并列出 Ollama 与 LM Studio，服务器可提供 OpenAI 聊天接口。模型卡未说明上下文长度、架构细节和中文能力表现。
更适合谁
- 需要在本地运行工具调用或函数调用模型的用户
- 搭建智能体、自动化工作流或 OpenAI 兼容接口的开发者
- 拥有约 8 GB 以上显存或 11.5 GB 以上推荐内存的本地部署用户
典型使用场景
- 本地智能体与工具调用应用
- OpenAI 聊天接口兼容的本地服务
- 通用问答、推理、指令遵循与编码辅助
- 搭配视觉投影文件处理图像输入
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
工具调用保留
量化版本以保持工具调用能力为主要目标，支持工具调用与函数调用
并行工具调用
模型卡列出并行调用评测，面向智能体和多工具协作场景
思考模式可切换
思考默认开启，并可按请求关闭以获得更直接的调用结果
轻量化 GGUF
主文件约 7.89 GB，可在原生 llama.cpp 及其应用生态中运行
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 8 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 当前资料仅列出 IQ2-mix GGUF，适合优先满足低内存或低显存部署需求
- 需要视觉能力时，主 GGUF 与 mmproj 文件必须配套下载
- 资料未提供其他量化版本，不宜据此推断 Q4、Q5 或 Q8 的可得性
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ2 | 7.4 GB | 8 GB | 9.5 GB | 11.5 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 8GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 9.5GB。
阅读 12GB 显存选型指南 →可以怎样运行
- 使用原生 llama.cpp 加载 GGUF，并按需要启用 --jinja 与 --mmproj
- 使用 Ollama 将下载的 GGUF 创建为本地模型
- 使用 LM Studio 等基于 llama.cpp 的图形化工具
- 启动兼容 OpenAI 聊天 API 的本地服务，默认端口为 8080
采用前要知道的限制
- 主文件仅支持文本，视觉功能必须额外安装视觉投影文件
- 模型卡说明其竞争数学能力约为完整模型的 82% 至 85%，字母级指令题表现较弱
- 约五分之一并行调用回复可能出现轻微格式问题，开启思考时回答前可能推理较长
- 语言标签仅标注 en，模型卡未说明中文效果、上下文长度或具体架构