机构名称：
¥ 1.0
大型预训练模型，也称为基础模型 (FM)，以任务无关的方式在大规模数据上进行训练，并且可以通过微调、小样本学习甚至零样本学习适应各种下游任务。尽管它们在语言和视觉任务中取得了成功，但我们尚未看到为地理空间人工智能 (GeoAI) 开发基础模型的尝试。在这项工作中，我们探索了为 GeoAI 开发多模态基础模型的前景和挑战。我们首先通过测试现有大型预训练语言模型 (LLM)（例如 GPT-2 和 GPT-3）在两个地理空间语义任务上的性能来展示这个想法的优势。结果表明，这些与任务无关的 LLM 在小样本学习设置中在两个任务上的表现都可以胜过任务特定的全监督模型，性能提高 2-9%。然而，鉴于 GeoAI 的多模态特性，我们也展示了这些现有基础模型的局限性，尤其是在处理与其他模态相结合的几何图形时。因此，我们讨论了多模态基础模型的可能性，该模型可以通过地理空间对齐推理各种类型的地理空间数据。我们通过讨论为 GeoAI 开发此类模型的独特风险和挑战来结束本文。
迈向地理空间人工智能的基础模型（愿景论文）
主要关键词
相关文件推荐
