机构名称：
¥ 11.0
梁搜索是一种广泛使用的近似算法，可根据此类分布找到最高的概率字符串。它一直是在许多生成任务中解码概率模型的首选工具，例如机器翻译，抽象性摘要和约束解码。有时，它在产出质量，计算不足和缺乏多样性方面表现出显着的差异。本文首先旨在更好地了解Beam Search的成功。我们确定了光束搜索中固有的归纳偏差，导致我们提出成功是由于其隐含的统一信息密度执行（一种与心理语言理论相关的属性）在生成的文本中。然后，我们解决了标准光束搜索的三个局限性：它的不具体率，其产生低多样性的集合的趋势及其确定性。为了解决第一个限制，我们引入了更加有效的光束搜索变体，该变体将算法构架为基于议程的过程，并采用了最优先的优先级；这种方法通过消除不必要的路径探索来降低计算成本。我们接下来要展示如何将光束搜索中的每个一代步骤作为亚次确定的最大化问题，以及该框架如何以原则上的方式优化设置级别特征（例如多样性）。我们进一步开发了光束搜索的随机概括，该概述促进了不同样本的产生，并可以在模型下建立统计上一致的估计器。我们提供了这些新技术在提高光束搜索的效率，多样性和适应性作为NLG任务的解码算法方面的有效性的经验证据。在本文的最后一部分中，我们使用有关有效解码策略的特性的见解来提出一种新的解码算法，该算法旨在产生模仿人类交流中信息内容模式的文本。我们观察到这种算法会导致高质量的文本，从而始终减少退化的重复，即概率语言发生器已知偶尔会在其他解码策略下产生。本文提出的方法为研究人员和从业人员提供了有价值的工具，以创建更好的概率语言发生器。
梁搜索和本地典型
主要关键词
相关文件推荐
