Meta开源像语言识别系统，模型识别唇语翻译6种语言，本地部署人人可用

不知道大家是否还记得年初火爆全网的反黑大剧《狂飙》中，最后几集因为导演删改剧情，演员嘴型和台词完全对不上的事吗？

后边有懂唇语的硬核剧迷，为了看到原版剧情，直接开始翻译。

来源：娱乐寡姐

Meta最近开源了一个AI语音-视频识别系统：MuAViC，让大家动一动手指头，就能看懂没有声音的人物讲了啥，还能精确识别嘈杂背景当中特定人物的语音。

Meta利用TED/TEDx的视频语音素材，制作了MuAViC中的数据集。其中包含了1200小时，9种语言的文本语音视频素材，还有英语与6种语言之间的双向翻译。

语音识别数据的详细内容：

英语到6种语言翻译的素材具体包括：

6种语言到英语的翻译素材具体包括：

论文

针对这个系统，Mate的研究人员也发布了论文介绍它与现有SOTA的对比。

视听语料库的收集

英语语料收集

对于英语语料，研究人员重新使用了LRS3-TED中的视听数据，并按照原始数据进行了拆分。

通过匹配LRS3-TED中的转录和TED2020中的源句，研究人员从机器翻译语料库TED2020中找到了这些会谈的人工翻译。

然后将匹配的LRS3-TED示例与TED2020中相应的目标句子配对，以获得翻译标签。

研究人员对开发集和测试集示例采用精确文本匹配，以确保最佳准确性。

为了提高训练集的匹配召回率，研究人员开发了一种模糊文本匹配策略：如果句对双方包含相同数量的句段，他们首先用标点符号分割TED2020源句和目标句。

然后，通过去除标点符号和小写来规范TED2020和LRS3-TED文本。

最后，在两个语料库之间进行精确文本匹配。

对于TED2020中没有匹配的LRS3-TED训练集示例，研究人员从机器翻译模型M2M-100 418M中获取伪翻译标签，该模型采用默认的解码超参数法。

非英语语料的收集

对于非英语语料，研究人员重新使用了之前研究中的mTEDx收集的纯音频数据、转录和文本翻译。他们也按照mTEDx来进行数据拆分。

他们获取原始录音的视频轨迹，并将处理过的视频数据与音频数据对齐，形成视听数据，与LRS3-TED类似。

虽然mTEDx中的所有音频数据都已转录，但其中只有一个子集进行了翻译。

研究人员从M2M-100 418M中获取伪翻译标签，用于使用默认解码超参数的未翻译训练集示例。

实验

实验设置

对于视听语音识别（AVSR）和视听语音翻译（AVST），研究人员使用英语AV-HuBERT大型预训练模型，该模型结合LRS3-TED和 VoxCeleb2的英语部分进行训练。

研究人员按照AV-HuBERT论文中的方式来微调超参数，不同之处在于他们将双语模型微调为30K更新，将多语言 AVSR 模型微调为90K更新。研究人员分别冻结X-En AVST和En-X AVST模型的第一个4K和24K更新的预训练编码器。

AVSR测试

安静环境中

研究人员在纯音频（"A"）和视听（"AV"）模式下对 AVSR 模型进行了评估，前者在微调和推理中仅利用音频模式，而后者则同时利用音频和视觉模式。

如下表1所示，英语 AVSR 模型的测试误码率分别为 2.5 和 2.3。

对于非英语 AVSR，研究人员对预先训练好的英语AVHuBERT模型进行了微调，微调方式可以是对每种语言分别进行微调（8 种单语模型），也可以是对所有8种非英语语言联合进行微调（多语模型）。

其测试误码率见下表2。

研究人员发现，在视听模式下，研究人员的单语AVSR模型的WER平均降低了52%，优于同类ASR基线（Transformer，单语）。

噪音环境中

表3的第一部分显示了研究人员的 AVSR 模型在高噪音环境下的测试误码率。

研究人员注意到，SOTA多语种ASR模型Whisper在这一具有挑战性的设置中表现糟糕，种语言的平均误码率为174.3。

相比之下，研究人员的单语言AVSR模型在纯音频模式下的平均误码率分别为70.2和66.7。

在视听模式下，研究人员模型的平均误码率大幅下降了32%，这表明它们有效地利用了视觉信息来减轻嘈杂环境的干扰。

在纯音频和视听模式下，研究人员的多语言AVSR模型在每种非英语语言（除El语外）上的表现都优于单语言模型。

　　图片使用申明：原创文章图片源自‘Canva可画’平台免费版权图片素材；引用文章源自引用平台文章中所使用的原图。