GoodAI LTM Benchmark v3 Released
GoodAI LTM 基准测试的主要目的一直是作为我们在开发能够持续和终身学习的代理方面取得进展的客观衡量标准。但是，我们也希望它对开发此类代理的任何人都有用。为了实现这一点，我们已将此版本定位为更易于理解并产生更标准化的结果，我们希望这些结果更容易进行比较和分析。从基准测试的第一个版本开始，我们就将特定的测试实例分组到数据集或任务类型中。例如，有一个名为“购物清单”的数据集，我们可以从中抽取任意数量的不同测试实例，以评估代理记住一系列物品并保留用户购物清单的更新版本的能力。在早期版本中，每个测试可能会产生任意数量的分数点，并且这些分数点未标准化。这可能导致令人困惑的情况，即通过高度复杂的测试
