农业部门的气候适应需要为农民和农场顾问提供相关且值得信赖的信息,以帮助提高其对Climeate变革的弹性。我们介绍了我的气候范围,这是一个提问(QA)的原型,该原型综合了来自不同数据源的信息,例如经过同行评审的科学文学和高质量的,与行业相关的灰色文献,以引起参考,以引用给定用户的问题。我们的原型使用开源的生成模型来进行数据隐私和知识产权保护,并为答案发电,接地和出处提供重新生成的生成。虽然有针对质量检查系统的标准评估指标,但没有现有的评估框架适合我们基于LLM的QA应用程序在气候适应域中。我们根据域专家的要求设计了一个具有七个指标的评估框架,以判断12种不同基于LLM的模型的生成答案。通过用户研究通过域专家进行的最初评估显示出有希望的可用性结果。
主要关键词