主动代理研究环境:模拟活跃用户评估主动助理

预测用户需求并自动执行任务的主动代理作为数字助理具有广阔的前景,但缺乏现实的用户模拟框架阻碍了它们的发展。现有方法将应用程序建模为平面工具调用 API,无法捕获数字环境中用户交互的状态和顺序性质,并使真实的用户模拟不可行。我们引入主动代理研究环境(Pare),这是一个用于在数字环境中构建和评估主动代理的框架。将应用程序建模为有限状态机......

来源:Apple机器学习研究

预测用户需求并自动执行任务的主动代理作为数字助理具有广阔的前景,但缺乏现实的用户模拟框架阻碍了它们的发展。现有方法将应用程序建模为平面工具调用 API,无法捕获数字环境中用户交互的状态和顺序性质,并使真实的用户模拟不可行。我们引入主动代理研究环境(Pare),这是一个用于在数字环境中构建和评估主动代理的框架。 Pare 将应用程序建模为有限状态机,为用户模拟器提供状态导航和状态相关操作空间,从而实现主动用户模拟。在此基础上,我们推出了 Pare-Bench,这是涵盖通信、生产力、日程安排和生活方式应用程序的 143 个不同任务的基准,旨在测试上下文观察、目标推理、干预时间和多应用程序编排。

  • † 加州大学圣巴巴拉分校
  • ‡ 独立研究员
  • § 华盛顿大学
  • ** 在 Apple 期间完成的工作