xlarge

PLMFIT：使用蛋白质工程蛋白质语言模型进行基准测试转移学习

（a）Spearman在以下比较的层相关性最佳PLM配置相对于每种TL技术（X轴）使用的层，下游的头部和汇总方法（X轴），请进行：（i）AAV采样，（ii）AAV-ONE vs. REST vs. REST，（iii）gb1-three，（iii）gb1-three vs.s vs.s Rest，（iiv）和（IV）vs. vs.-iv vs vs v。 SS3采样。使用了不同的PLM：Proteinbert，Progen2（小，中，Xlarge），ESM2（650m，3b，15b），具有TL策略，包括Fe，Lora，Lora-，Lora-，适配器和适配器。红色虚线表示使用序列OHE训练的基线模型，请参见方法。（b）相对于FT（绿色）和Fe（蓝色）的基线的性能差异百分比。微调始终会产生更大的性能改进，尤其是在更复杂的数据集（如Meltome）中。BoxPlots在任务和TL方法之间显示出绩效增长的可变性。