英伟达开源最强转录 AI 模型 Nemotron 3.5 Transcribe：支持 40 种语言，8 人抢话也能精准转录

IT之家 10 月 29 日消息，英伟达昨日（10 月 28 日）宣布推出开放权重语音转录模型 Nemotron 3.5 Transcribe，并同步公开训练数据管线 Granary v2。 Nemotron 3.5 Transcribe 模型 整合转录、说话人归属、翻译和音频问答，主要面向会议纪要、课堂录像、访谈整理和多语言客服等场景。 在架构方面，Nemotron 3.5 Transcribe 采用混合专家（MoE）架构，总参数约 340 亿，激活参数量约 43 亿。它可处理最长 1 小时的录音，支持 40 种语言的转录，其中 31 种语言可与英语互译；在说话人识别方面，最多可区分 8 名说话人，并支持 13 种语言的说话人标注。 该模型最大亮点是应对“多人同时说话”的能力。模型在生成文本时即可为每段发言标注说话人。官方演示中，它对 1940 年电影《他的女友礼拜五》中语速极快、大量重叠对白的场景，也能分角色生成字幕。 在公开评测中，该模型在 Hugging Face Open ASR Leaderboard 英语组以 5.33% 的平均词错误率位居开放权重模型第一。 在 Artificial Analysis 的非流式词错误率指数中，以 2.8% 的成绩与 Voxtral Small Transcribe 并列开源模型首位。说话人归属方面，它在 David AI 的 21 种语言说话人分离基准中录得 18.26% 的最低错误率。IT之家附上相关图片如下： 模型已在 Hugging Face 与 ModelScope 免费开放，采用 OpenMDW-1.1 许可证；量化版本预计后续发布，便于在 RTX Spark、DGX Spark、Jetson AGX Thor 等本地设备运行。 Granary v2 是 NVIDIA 为多语言语音模型（如 Nemotron 3.5 Transcribe）构建的开放、可复用的训练数据整理管线与数据集。 它把原始 / 已有标注的音频自动加工成多种转录格式、翻译、字幕、问答和指令对，供 ASR、语音翻译和语音指令微调使用。 公开的 Granary v2 数据清单覆盖 463,062 小时音频、48 种语言、16 个源语料库，相比 Granary v1 的 25 种语言明显扩展。 对同一段录音，Granary v2 至少生成三种转录变体，对应模型可被提示要求的不同书面风格： 文本规范化逐字稿（tn_raw） ：保留“呃”“嗯”等不流畅表达，但数字等文本形式规范化，例如“I paid, uh, twenty-five euros.” 逆文本规范化、含不流畅表达（itn_raw） ：把口语数字还原为书面符号，如“I paid, uh, €25.” 逆文本规范化、去除不流畅表达（itn_clean） ：输出干净可读文本，如“I paid €25.”

Les actualités sont collectées automatiquement depuis des flux publics robotique & IA.