最近已经提出了几种不确定性估计方法,以用于机器翻译评估。尽管这些方法可以提供不信任模型预测的有用指示,但我们在本文中表明,大多数人倾向于低估模型的不确定性,因此,它们通常会产生不涵盖地面真理的误导性置信区间。我们建议使用保形预测,这是一种无分布的方法,可以在覆盖范围内获得具有理论上确定的固定性的置信区间。首先,我们证明了拆分的保形预测可以“正确”以前方法的置信区间,以产生所需的覆盖水平,并且我们在多个机器翻译评估指标和不确定性量化方法中揭示了这些发现。此外,我们以估计的置信区间重点介绍了偏见,并以不同属性(例如语言和翻译质量)的不平衡覆盖范围重新介绍了偏见。我们通过应用条件保形预测技术来解决每个数据子组的校准子集,从而导致均等覆盖范围。总体而言,我们表明,提供了对校准集的访问,共形预测可以帮助识别最合适的不确定性量化方法并调整预测的置信区间,以确保与不同属性有关。1
2024年3月28日 — 标准等(烹饪方法等)。销售价格。注释。*如果您出售食品,则必须遵守公共卫生中心的指示。(横须贺市保健所制作)请仔细阅读。请填写表格。 (刊载于久里滨驻地网站)
随机性的功能理论是在Vovk [2020]中以非算力的随机性理论的名义提出的。Ran-Domness的算法理论是由Kolmogorov于1960年代启动的[Kolmogorov,1968年],并已在许多论文和书籍中开发(例如,参见Shen等人。2017)。它一直是直觉的强大来源,但其弱点是对特定通用部分可计算函数的选择的依赖性,这导致其数学结果中存在未指定的加性(有时是乘法)常数。Kolmogorov [1965,Sect。 3] speculated that for natural universal partial computable functions the additive constants will be in hun- dreds rather than in tens of thousands of bits, but this accuracy is very far from being sufficient in machine-learning and statistical applications (an addi- tive constant of 100 in the definition of Kolmogorov complexity leads to the astronomical multiplicative constant of 2 100 in the corresponding p-value). 与VOVK [2020]中提出的未指定常数打交道的方式是表达有关随机性算法作为各种函数类之间关系的算法。 它将在教派中引入。 2。 在本文中,我们将这种方法称为随机性的功能理论。 虽然它在直观的简单性方面失去了一定的损失,但它越来越接近实用的机器学习和统计数据。 读者将不会假设对随机性算法理论的形式知识。 在本文中,我们有兴趣将随机性的功能理论应用于预测。 3。Kolmogorov [1965,Sect。3] speculated that for natural universal partial computable functions the additive constants will be in hun- dreds rather than in tens of thousands of bits, but this accuracy is very far from being sufficient in machine-learning and statistical applications (an addi- tive constant of 100 in the definition of Kolmogorov complexity leads to the astronomical multiplicative constant of 2 100 in the corresponding p-value).与VOVK [2020]中提出的未指定常数打交道的方式是表达有关随机性算法作为各种函数类之间关系的算法。它将在教派中引入。2。在本文中,我们将这种方法称为随机性的功能理论。虽然它在直观的简单性方面失去了一定的损失,但它越来越接近实用的机器学习和统计数据。读者将不会假设对随机性算法理论的形式知识。在本文中,我们有兴趣将随机性的功能理论应用于预测。3。机器学习中最标准的假设是随机性:我们假设观察值是以IID方式生成的(独立且分布相同)。先验弱的假设是交换性的假设,尽管对于无限的数据序列而言,随机性和交换性证明与著名的de Finetti代表定理本质上是等效的。对于有限序列,差异是重要的,这将是我们教派的主题。我们开始讨论在教派中预测的随机性功能理论的应用。2。在其中介绍了置信度预言的概念(稍微修改和推广Vovk等人的术语。2022,Sect。2.1.6)。然后,我们根据三个二分法确定八种置信预测因素: