← 返回模型库

ThorOdinson246/nl2sh-1.5b-Q4_K_M

nl2sh-1.5b-Q4_K_M:英文需求转单条Shell命令

基于 Qwen2.5-Coder-1.5B-Instruct 用 1.5B 参数底座配合 LoRA 微调并合并权重,专把一句英文需求翻译成单条 Bash 命令。约 941 MB,CPU 即可加载,约一秒返回。适合需要在本地终端把自然语言随手转成命令、又不想上云的用户。门槛低,普通笔记本就能跑。

命令生成Shell助手轻量本地CPU推理
查看模型源页面
下载量
0
参数
1.5B
上下文
未说明
架构 / 任务
未分类
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

模型能力源自模型卡与训练说明:将英文自然语言请求转写成单条 Shell 命令,单轮、不可观察文件系统、输出上限 64 token。量化仓库为 GGUF,仅提供 Q4_K_M 一种约 941 MB 文件。运行工具覆盖 llama.cpp、Ollama、LM Studio,配套 CLI 工具为 whatisit。模型卡未说明是否支持中文输入或多轮对话;评估仅基于一个 300 任务的英文基准。

更适合谁

  • 想在本地终端把英文需求快速转成 Bash 命令的用户
  • 不想上云、寻求低延迟小模型的运维或开发人员
  • 已有 llama.cpp、Ollama 或 LM Studio 环境的轻量部署者
  • 偏好 CPU 推理、避免显卡依赖的离线使用者

典型使用场景

  • 将自然语言描述转写为 find、grep、curl 等单条 Bash 命令
  • 在终端作为命令提示辅助,替代部分 man 页查询
  • 嵌入式或脚本化场景下作为轻量命令生成后端
  • 配合 whatisit CLI 做本地命令行工具的语义层

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

体积紧凑

约 941 MB,CPU 上约一秒返回,无需独立显卡

任务专精

用 12.6 万条指令对做 LoRA 微调,专注单条命令生成

量化稳健

Q4_K_M 量化下 InterCode-ALFA 通过率仍达 0.620

资源友好

最低 4 GB RAM 即可加载,推荐配置 8 GB RAM

硬件怎么准备

  • 最低 4 GB RAM、约 1 GB VRAM 即可加载模型
  • 推荐 8 GB RAM 以获得更稳定的多任务运行空间
  • 纯 CPU 推理可行,无需独显
  • 941 MB 文件体积,普通笔记本或迷你主机都能容纳

量化版本怎么选

  • 当前仓库仅提供 Q4_K_M 一种 GGUF 量化方案,约 941 MB
  • 该量化在 InterCode-ALFA 上通过率 0.620,相对底座 0.540 有显著提升
  • 若需更小或更高精度版本,模型卡未提供其他量化文件
  • 训练数据经过去重,相对基准测试集无明显泄露

GGUF VARIANTS

量化版本与硬件要求

数值根据文件体积和运行余量估算,不是速度或效果承诺;长上下文、并发与 GPU 层数会改变实际占用。

量化文件最低显存推荐显存推荐内存来源
Q40.7 GB1 GB2 GB8 GB文件 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 1GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 2GB。

阅读 4GB 显存选型指南 →

可以怎样运行

  • 通过 llama.cpp 直接调用,可用 llama-completion 或 -sys/-st 传入系统提示
  • 通过 Ollama 拉取并本地运行
  • 通过 LM Studio 加载 GGUF 文件并调用
  • 使用官方 CLI 工具 whatisit,自动拉取模型并集成 denylist

采用前要知道的限制

  • 仅评估英文输入,模型卡未说明中文支持情况
  • 单轮对话,不保留 Shell 状态或上下文记忆
  • 输出上限 64 token,只能生成单条命令而非完整脚本
  • 可能输出破坏性命令,必须人工逐条审核后再执行