详细内容或原文请订阅后点击阅览
数值规范化的位置描述
我们提出了一种针对数字序列量身定制的位置描述方案 (PDS)，集成了每个数字的占位符值信息。鉴于子词标记算法的结构限制，语言模型在处理数字任务时遇到了关键的文本规范化 (TN) 挑战。我们的模式通过直接的预处理解决了这一挑战，保留了模型架构，同时显着简化了数字规范化，使问题变得易于处理。这简化了任务并促进了更紧凑的生产就绪模型能够……
来源:Apple机器学习研究我们提供了针对数字序列量身定制的位置描述方案（PDS），并整合每个数字的占位符价值信息。考虑到子字令牌化算法的结构局限性，在处理数值任务时，语言模型会遇到临界文本归一化（TN）挑战。我们的模式通过直接的预处理来应对这一挑战，保留模型体系结构，同时显着简化了数字归一化，从而使问题可解决。这简化了任务，并促进了能够从较小数据集学习的更紧凑的生产准备就绪的模型。此外，我们的研究表明，PDS增强了语言模型的算术处理能力，从而在复杂的算术任务上提高了23％至51％的相对准确性。我们证明，PD有效地减轻了神经模型中的致命数值归一化误差，只需要适度的训练数据，而无需基于规则的有限状态传感器（FST）。我们证明，PDS对于文本到语音和语音识别文本处理至关重要，从而在生产约束下实现有效的TN。