英伟达发布新款开放权重语音转录模型

来源:环球市场播报

  英伟达周三发布了 Nemotron 3.5 Transcribe。这是一款免费、开放权重的模型,能够转录多达40种语言的音频。该公司还发布了开源语音数据集 Granary 的第二版。

  英伟达表示,Nemotron 3.5 能够实现31种语言与英语之间的双向翻译,处理时长最长达1小时的录音,并区分最多8名说话者。该公司声称,这款模型在多个基准测试中超越了竞争对手,包括 Hugging Face 的 Open ASR Leaderboard(开放式自动语音识别排行榜)。

  这些工具主要面向开发者,帮助他们构建用于商务会议和医疗语音转录的应用。这两个领域是人工智能在职场中应用最成熟的场景之一。

  英伟达表示,开发者可以结合使用这款模型、更新后的 Granary 数据集以及 NeMo Speech 等工具,定制应用程序,使其能够识别不同语言中特定行业的专业术语。

  不过,该模型也存在一项局限:Transcribe 只能处理已经录制的音频,无法转录实时音频流。

  尽管如此,英伟达承诺,这款拥有300亿参数的 Transcribe 模型能够在单颗芯片上运行,适用硬件包括 Jetson AGX Thor 机器人控制器、为新款笔记本电脑提供算力的 DGX Spark 芯片,以及用于数据中心的 Blackwell 系列芯片。

  该模型也加入了英伟达的开放权重语音模型阵营,其中包括体积极小但性能强劲的 Parakeet 多语言语音识别模型,其参数量为11亿。

  英伟达此次推出新的语音模型,正值人工智能语音技术密集发布之际。本月早些时候,Mistral 发布了 Voxtral 3;ElevenLabs 推出了 Realtime,可为语音智能体提供即时语音处理能力;Salesforce 则发布了自己的语音模型 Launa-Omni。