蛋白质生成模型的快速发展需要强大的原理方法进行评估和比较。随着新增加复杂性的新模型继续出现,至关重要的是要确保用于评估的指标得到了充分理解和可靠。在这项工作中,我们对常用指标进行系统研究,以评估蛋白质生成模型,重点是质量,多样性和分布相似性。我们在各种条件下检查了这些指标的范围,包括合成扰动和现实世界中的生成模型。我们的分析探讨了不同的设计选择,参数和基本表示模型,揭示了这些因素如何影响度量性能。我们确定了应用这些指标的几个挑战,例如样本量依赖性,对数据分配变化的敏感性以及计算效率的权衡。通过对两个具有控制属性的合成数据集测试指标和最先进的蛋白质发生器的输出,我们可以洞悉每个度量标准的优势,局限性和实际适用性。根据我们的发现,我们为研究人员提供了一组实用建议,以评估蛋白质生成模型时考虑,旨在为蛋白质设计领域的更健壮和有意义的评估实践做出贡献。
主要关键词