自然语言处理(NLP)和计算机视觉(CV)中相关的发展的杰出成功取得了巨大的成功,激发了基础模型的外观以及它们将在基于大规模实验和模拟数据的科学计算(SC)中获得的丰富,多样,多模式的数据时,它们将启用哪些新进展。这样的模型可以为科学机器学习(SCIML)提供强大而有原则的基础,这远远超出了仅使用用于互联网和社交媒体应用程序开发的ML工具来帮助解决未来的科学和工程问题。我将描述最近的工作,以证明在简历和NLP中广泛使用的“预训练和微调”范式的潜力,以解决SCIML问题,这表明了建立SCIML基础模型的清晰途径;除了最新的工作,突出了尝试将数据驱动的ML方法与域驱动的SC方法相结合时出现的多种“故障模式”,从而证明了成功地穿越该路径的明显障碍。我还将描述开发新方法来应对这些挑战的初步工作,以及它们大规模的实现,这将是一种一般解决方案,以建立由数百万或数十亿或万亿个参数组成的强大而可靠的SCIML模型。
主要关键词