机构名称：
¥ 3.0
在医疗保健和生物医学应用中，极端的计算要求对采用表示学习构成了重大障碍。表示学习可以通过从有限的医疗数据中学习有用的先验来提高深度学习架构的性能。然而，最先进的自监督技术在使用较小的批量或较短的预训练时间时性能会降低，这在临床环境中更为实用。为了应对这一挑战，我们提出了跨架构-自监督（CASS）。这种新颖的暹罗自监督学习方法协同利用 Transformer 和卷积神经网络（CNN）进行高效学习。我们的实证评估表明，CASS 训练的 CNN 和 Transformer 在四个不同的医疗保健数据集上的表现优于现有的自监督学习方法。仅使用 1% 的标记数据进行微调，CASS 实现了 3.8% 的平均提升；使用 10% 的标记数据，它获得了 5.9%；而使用 100% 标记数据，其性能提升显著，达到 10.13%。值得注意的是，与最先进的方法相比，CASS 将预训练时间缩短了 69%，使其更适合临床实施。我们还证明，CASS 对批次大小和预训练周期的变化具有更强的鲁棒性，使其成为医疗保健应用中机器学习的合适候选者。
通过交叉研究实现医疗保健领域的高效表征学习...
主要关键词
相关文件推荐
