详细内容或原文请订阅后点击阅览
使用长形式声学编码的分段注意力解码
我们解决了基于注意力的编码器-解码器（AED）模型与长形式声学编码的根本不兼容问题。在分段话语上训练的 AED 模型通过利用片段边界之外的有限声学上下文来学习对绝对帧位置进行编码，但在解码这些线索消失的长片段时无法泛化。由于交叉注意力中键和值的排列不变性，该模型失去了对声学编码进行排序的能力。我们提出了四种修改：（1）将显式绝对位置编码注入每个解码的交叉注意力中......
来源:Apple机器学习研究我们解决了基于注意力的编码器-解码器（AED）模型与长形式声学编码的根本不兼容问题。在分段话语上训练的 AED 模型通过利用片段边界之外的有限声学上下文来学习对绝对帧位置进行编码，但在解码这些线索消失的长片段时无法泛化。由于交叉注意力中键和值的排列不变性，该模型失去了对声学编码进行排序的能力。我们提出了四种修改：（1）将显式绝对位置编码注入每个解码片段的交叉注意力中，（2）使用扩展声学上下文进行长形式训练，以消除隐式绝对位置编码，（3）片段串联以覆盖训练期间所需的不同分段，以及（4）语义分割以将 AED 解码片段与训练片段对齐。我们证明这些修改缩小了连续声学编码和分段声学编码之间的准确性差距，从而实现了注意力解码器的自动回归使用。