基础模型(FMS)从大量未标记的数据中学习,以在各种任务中表现出卓越的性能。然而,用于生物医学结构域的FMS基本上仍然是单峰的,即单独使用蛋白质序列,单独的小分子结构或单独临床数据的独立训练和用于任务。为了克服这一限制,我们提出了一个参数有效的学习框架BioBridge,以桥接经过独立训练的单峰FMS以建立多模态行为。BioBridge通过利用知识图(kg)来学习一个单型FM和另一个单模式之间的变换,而无需微调任何基本的单峰FMS。我们的结果表明,BioBridge可以击败最佳的基线KG嵌入方法(平均约为76。3%)在跨模式检索任务中。我们还确定了Biobridge通过推断出未见的方式或关系来证明跨域的概括能力。此外,我们还表明,Biobridge将自己表现为一种通用检索器,可以帮助生物医学多模式问答,并增强了引导的新型新药。1
主要关键词