机构名称：
¥ 1.0
摘要 - 气候变化构成了严重的挑战，要求广泛的理解和低碳生活方式意识。大型语言模型（LLMS）提供了解决这一危机的强大工具，但缺乏对其气候危机知识的全面评估。本文提出了一个自动评估框架，以评估LLMS中的气候危机知识。我们采用了一种混合方法来获取数据，将数据综合和手动收集结合在一起，以编译各种问题，包括气候变化的各个方面。利用基于编译的问题提示工程，我们通过分析其生成的答案来评估模型的知识。此外，我们引入了一组全面的指标来评估气候危机知识，从10个不同的角度涵盖了指标。这些指标提供了多方面的评估，从而对LLMS的气候危机理解有细微的理解。实验结果证明了我们提出的方法的功效。在我们利用各种高性能的LLM的评估中，我们发现，尽管LLM具有相当大的气候相关知识，但及时性存在缺陷，表明需要持续更新和改进其气候相关内容。
大型语言模型的气候变化
主要关键词
相关文件推荐
