机构名称：
¥ 2.0
可重复性对于科学的发展至关重要；它对看似矛盾的结果充满信心，并扩大了已知发现的界限。计算机安全具有创建工件的益处，可以促进计算可重复性，这是他人使用他人代码和数据以相对直接的方式使用他人的代码和数据独立重新创建结果的能力。尽管安全界最近增加了对可重复性的关注，但尚未对当前可重复性状态进行独立且全面的测量。在本文中，我们进行了第一项此类研究，针对由机器学习安全性的论文专门生成的可重复的伪像（学术研究中最流行的领域之一），该论文在过去十年（2013-2022）中发表了第1层安全会议。我们对近750篇论文，其代码库和数据集进行了间接和直接可重复性的测量研究。我们的分析表明，在第1级会议中引入工件评估委员会之前和之后，在统计上没有统计学上的差异。然而，根据三年的结果，通过此过程的伪像比没有的伪像更高。从收集的发现中，我们提供了以数据为基础的建议，以改善社区的可重复性，包括我们研究中观察到的五个问题。这样做，我们证明了计算机安全研究中的计算可重复性仍需要取得重大进展。
一级机器学习论文的可重复性研究
主要关键词
相关文件推荐
