近30天源站下载量
114.3万
参数
0.6B
上下文
未说明
架构 / 任务
nemotron3_5_asr
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
模型能力来源于模型卡与标签：作为多语种流式 ASR（自动语音识别）模型，强调缓存感知流式编码器与 RNN-T 解码器，并使用语言 ID 提示条件在同一模型内完成多语种转录，可自动检测语种或显式指定目标语言；输出文字自带标点与大小写。量化仓库由 Hugging Face 上的 GGUF 文件提供，当前公开记录仅有一种 Q8 量化（约 600MB）。运行工具支持 Hugging Face Transformers、Ollama、llama.cpp 与 LM Studio，原生集成则面向 NVIDIA NeMo 与 NeMo-Speech.cpp。模型卡明确指明硬件微架构覆盖 NVIDIA Volta 到 Blackwell 及 Jetson 系列，操作系统为 Linux。
更适合谁
- 需要多语种实时或批量语音转文字的开发者与语音团队
- 搭建低延迟语音代理、字幕生成、客服录音转写的工程团队
- 中文用户且具备英伟达 GPU 或充足通用内存希望本地运行者
- 希望用单一模型覆盖欧洲、东亚、南亚等地区语种的产品
典型使用场景
- 实时会议与直播多语种字幕生成
- 语音助手与电话客服的流式转写
- 多语种音视频资料批量离线转录
- 混语种语音流自动标注与归档
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
多语种覆盖
单模型支持 40 种语言-地区，19 种开箱即用，13 种广覆盖，8 种需微调
流式低延迟
缓存感知 FastConformer 设计避免重叠计算，分块可配置 80–1120 毫秒
语种自动检测
支持自动识别语种并在输出末尾附带语种标签，便于混语种场景
标点与大小写
输出文本原生包含标点与大小写，无需后处理
量化轻量
仅约 0.6B 参数，Q8 量化文件约 600MB，硬件门槛低
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 1 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 当前 GGUF 仓库仅记录 Q8 量化版本，文件约 600MB
- Q8 对 0.6B 参数模型而言已属高质量量化，精度损失通常较小
- 若显存紧张，可关注后续社区发布的更低比特量化；模型卡未承诺具体比特版本的兼容性与速度
- 同一仓库未列出其他 GGUF 变体，不建议自行假设存在未列出的量化选项
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| Q8_0 | 0.7 GB | 1 GB | 2 GB | 8 GB | 下载文件 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 1GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 通过 llama.cpp/Ollama/LM Studio 加载 Q8 GGUF 文件本地推理
- 使用 Hugging Face Transformers（v5.13.0 及以上）的 Nemotron3_5Asr 模型
- 通过 NVIDIA NeMo 进行训练、微调与离线/流式推理
- 使用 NeMo-Speech.cpp 原生 C++ 运行时进行本地推理
采用前要知道的限制
- 模型卡未提供 CPU 与非英伟达硬件的实时速度与并发数据
- 8 种语言为适配就绪档，未微调直接使用效果受限
- 公开 GGUF 仓库仅记录 Q8 单一量化，缺少更低比特或更多对比
- 性能数据来自 FLEURS 测试集，实际业务场景需自行评估