近30天源站下载量
21.9万
参数
4B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
Agents-A1-4B 是 InternScience 推出的 4B 稠密视觉语言 Agent 模型，定位小参数下的长程搜索、工程科研推理、工具调用与多约束指令遵循。本仓库是其 Q8_0 GGUF 量化版，附带 mmproj GGUF 视觉投影以启用图文输入。运行工具支持 Ollama、llama.cpp 与 LM Studio 等本地 GGUF 推理方案，模型卡未说明该量化版本的最大上下文长度。性能层面模型卡报告 BrowseComp 66.8、XBench-DS-2510 90.0、GAIA 95.1 与 IFEval 94.8 等成绩，主张在 4B 级别领先。
更适合谁
- 想在本地搭建多步 Agent 流程的开发者
- 需要图文输入的多模态任务研究者
- 关注长程任务规划与工具调用的工程师
- 硬件受限但想尝试视觉语言模型的轻量部署者
典型使用场景
- 本地多步搜索与资料整理任务
- 工具调用驱动的 Agent 原型开发
- 图像加文本的多模态问答与理解
- 科学或工程类知识问答与推理
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
长程 Agent 推理
能将复杂任务拆解为可执行子步骤并基于反馈调整策略
原生工具调用与函数支持
内置 function calling，可对接 API、代码解释器与搜索引擎
视觉语言多模态输入
通过 mmproj GGUF 启用图文问答与图像相关推理
多约束指令遵循
在跨领域场景下精确执行含多约束的复杂指令
小参数高效率
4B 稠密架构在多个 Agent 基准上接近更大 MoE 模型
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 该仓库仅提供 Q8_0 主量化，体积约 4GB，相对原权重质量损失较小
- 若显存紧张可自行在 mlx-community 等社区寻找更低位宽的衍生量化
- 视觉能力依赖 mmproj GGUF，单独主模型文件无法处理图像
- 模型卡未提供与其它量化的官方速度或质量对比
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q8_0 | 4.2 GB | 5 GB | 6 GB | 8 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 6GB。
阅读 8GB 显存选型指南 →可以怎样运行
- 通过 Ollama 拉取仓库内的 GGUF 权重直接运行
- 用 llama.cpp 加载 Q8_0 与 mmproj 文件做本地推理
- LM Studio 导入仓库内 GGUF 文件即可使用
- 文本路径可考虑 SGLang 或 vLLM 部署 Transformers 格式权重
采用前要知道的限制
- 模型卡未给出该 GGUF 仓库的最大上下文长度
- 模型卡未提供具体推理速度或首字延迟数据
- 4B 小模型在复杂工程科研任务上仍弱于更大 MoE 版本
- 量化版本与原 Transformers 权重之间可能存在一致性差异，需自行验证