(物理科学)介绍在设计研究,分析数据并报告结果时,重要的是要考虑发现的可重复性。可再现的工作为科学界提供了可靠的基础,可以在其中建立未来的工作。在多个样品/设备上执行适当的测量类型和数量,可为实验中存在的可变性程度提供信息。了解存在多少随机变化,可以做出更有意义和准确的解释。对于物理研究,我们可以定义三种主要类型的可重复性标准:样本/设备可重复性,测量可重复性和分析可重复性。
医学图像计算 (MIC) 致力于通过计算方法分析医学成像数据并通过实验对其进行评估。因此,它是一门实验科学。可重复性是所有实验科学进步的基石。与许多其他领域一样,人们主要担心 MIC 的可重复性不令人满意。然而,可重复性不是一个单一的概念,而是一个范围,研究人员经常误解它。此外,尽管已经采取了一些措施来促进 MIC 社区的可重复性,但目前尚不清楚这些措施是否有效。本章的目标有三个:i) 为读者提供 MIC 可重复性的必要概念;ii) 描述已实施的措施并评估其中一些措施;iii) 概述可能采取的一些新行动。本章首先介绍一个概念框架,该框架区分了不同类型的可重复性以及可重复研究的主要组成部分。然后,介绍 MICCAI(医学图像计算)当前如何评估可重复性
我们假设在 FFC 之前执行了背景减法。FFC 会根据所用镜头的类型、光圈、焦点、测量光区的大小及其距离等而改变。很难准确创建,因为很难获得足够大小的均匀光源,而且所需的校正会随着条件的变化而发生很大变化。小心。一种配置的 FFC 可能不适用于另一种配置
作者感谢欧盟委员会 VECMA 拨款(编号 800925)和伦敦阿兰图灵研究所的资助,这使我们能够在 2020 年 1 月举办一场与本期主题类似的活动。致谢我们感谢 Apostolos Evangelopoulos 博士对本期主题的开发提供的重要支持,以及 Hugh Martin 博士为组织阿兰图灵研究所的活动所做的贡献。参考文献
算法可重复性衡量机器学习算法的输出偏差,而训练过程中发生了较小的变化。先前的工作表明,一阶方法需要权衡融合率(梯度复杂性)才能获得更好的可重复性。在这项工作中,我们挑战了这一看法,并证明在各种错误的甲骨文设置下,可以实现最佳的可重复性和近乎最佳的收敛保证。特别是,鉴于不精确的初始化Oracle,我们基于正则化的算法达到了两全其美的最佳 - 最佳的可重复性和近乎最佳的梯度复杂性 - 用于最小化和最小值优化。使用不精确的梯度甲骨文,近乎最佳的保证也可用于最小值优化。此外,在随机梯度甲骨文中,我们表明随机梯度下降在可重复性和梯度复杂性方面都是最佳的。我们认为,在凸优化的背景下,我们的结果有助于增强对可重复性连接权衡的理解。
除了机器学习模型的实际部署之外,机器学习学术界的可重复性危机也得到了充分的记录:请参阅 [ Pineau 等人,2021 ] 及其参考文献,其中对不可重复性的原因(对超参数和实验设置的探索不足、缺乏足够的文档、代码无法访问以及不同的计算硬件)进行了出色的讨论,并提出了缓解建议。最近的论文 [ Chen 等人,2020 、D'Amour 等人,2020 、Dusenberry 等人,2020 、Snapp 和 Shamir,2021 、Summers 和 Dinneen,2021 、Yu 等人,2021 ] 还证明,即使在相同的数据集上使用相同的优化算法、架构和超参数训练模型,它们也会对同一个示例产生明显不同的预测。这种不可重复性可能是由多种因素造成的 [D'Amour 等人,2020 年,Fort 等人,2020 年,Frankle 等人,2020 年,Shallue 等人,2018 年,Snapp 和 Shamir,2021 年,Summers 和 Dinneen,2021 年],例如目标的非凸性、随机初始化、训练中的不确定性(例如数据混洗)、并行性、随机调度、使用的硬件和舍入量化误差。也许令人惊讶的是,即使我们通过使用相同的“种子”进行模型初始化来控制随机性,其他因素(例如由于现代 GPU 的不确定性而引入的数值误差)(参见,例如,[ Zhuang et al. , 2021 ])仍可能导致显着差异。经验表明(参见,例如,Achille et al. [ 2017 ])
方法本研究纳入45名健康志愿者和85名轻度认知障碍(MCI)患者。在85名MCI患者中,43名以1.2 mm的平面分辨率获取三维T1加权MRI数据。其余42名MCI患者和健康志愿者的数据以1.0 mm的平面分辨率获取。计算受试者内变异系数(CoV)、组内相关系数(ICC)和效应大小,并使用配对t检验比较均值。比较MCI患者在1.0 mm和1.2 mm分辨率下获得的参数,以评估平面分辨率对方法间重现性的影响。使用MCI患者和健康志愿者在1.0 mm平面分辨率下获得的参数来分析受试者条件对方法间重现性的影响。
2加顿商学院经济学系,肯塔基大学,肯塔基州肯塔基州肯塔基州,美利坚合众国2加顿商学院经济学系,肯塔基大学,肯塔基州肯塔基州肯塔基州,美利坚合众国
科学出版物中不一致或不正确的术语使用会导致科学文献中的误解、混淆和错误结果。这一问题在 X 射线光电子能谱 (XPS) 中尤为重要,因为不同背景的科学家广泛使用该技术用于许多不同的目的。国际标准化组织表面化学分析技术委员会 TC201 制定了一套表面分析术语,该术语经国际专家一致批准。为鼓励广泛使用,可在多个网站上免费获取该术语。本简短概述提供了一些示例,强调了统一术语对于消除相似术语混淆的重要性。示例提供了文献中常被误用或混淆的术语。其他示例重点介绍了为比较仪器参数和性能提供共同基础的术语。随着科学的进步,澄清用于描述对 XPS 很重要的不断发展的概念和发展的术语非常重要。
1 巴斯德大学,巴黎大学的cite',生物学技术平台,法国75015,法国2,巴斯德研究所,巴黎大学,巴黎大学,生物信息和生物统计学枢纽,75015巴黎,75015法国法国,法国3 Universite”,cnrise 5 cnrande 5 4研究所的巴斯德学院,巴黎大学,RNA病毒的G5进化基因组学,法国巴黎75015 *通讯作者。 大学,CNRS,数字科学跨学科实验室,法国奥赛州91405。 电子邮件:sarah.cohen-boulakia@universite-paris-saclay.fr(s.c-b);巴黎大学的巴斯德研究所,巴黎大学,生物信息和生物统计学枢纽,法国75015巴黎。 电子邮件:frederic.lemoine@pastteur.fr(F.L.) •这些作者加入了最后一位作者。巴斯德大学,巴黎大学的cite',生物学技术平台,法国75015,法国2,巴斯德研究所,巴黎大学,巴黎大学,生物信息和生物统计学枢纽,75015巴黎,75015法国法国,法国3 Universite”,cnrise 5 cnrande 5 4研究所的巴斯德学院,巴黎大学,RNA病毒的G5进化基因组学,法国巴黎75015 *通讯作者。 大学,CNRS,数字科学跨学科实验室,法国奥赛州91405。 电子邮件:sarah.cohen-boulakia@universite-paris-saclay.fr(s.c-b);巴黎大学的巴斯德研究所,巴黎大学,生物信息和生物统计学枢纽,法国75015巴黎。 电子邮件:frederic.lemoine@pastteur.fr(F.L.) •这些作者加入了最后一位作者。巴斯德大学,巴黎大学的cite',生物学技术平台,法国75015,法国2,巴斯德研究所,巴黎大学,巴黎大学,生物信息和生物统计学枢纽,75015巴黎,75015法国法国,法国3 Universite”,cnrise 5 cnrande 5 4研究所的巴斯德学院,巴黎大学,RNA病毒的G5进化基因组学,法国巴黎75015 *通讯作者。大学,CNRS,数字科学跨学科实验室,法国奥赛州91405。电子邮件:sarah.cohen-boulakia@universite-paris-saclay.fr(s.c-b);巴黎大学的巴斯德研究所,巴黎大学,生物信息和生物统计学枢纽,法国75015巴黎。电子邮件:frederic.lemoine@pastteur.fr(F.L.)•这些作者加入了最后一位作者。