映射计算机使用代理的用户体验设计空间

基于大型语言模型 (LLM) 的计算机使用代理通过与可用的 UI 元素交互来执行用户命令,但对于用户希望如何与这些代理交互或哪些设计因素对其用户体验 (UX) 至关重要,人们知之甚少。我们进行了一项两阶段的研究来绘制计算机使用代理的用户体验设计空间。在第一阶段,我们审查了现有系统,以制定用户体验考虑因素的分类法,然后通过采访八位用户体验和人工智能从业者来完善它。由此产生的分类法包括用户提示、可解释性、用户控制和用户……等类别。

来源:Apple机器学习研究

基于大型语言模型 (LLM) 的计算机使用代理通过与可用的 UI 元素交互来执行用户命令,但对于用户希望如何与这些代理交互或哪些设计因素对其用户体验 (UX) 至关重要,人们知之甚少。我们进行了一项两阶段的研究来绘制计算机使用代理的用户体验设计空间。在第一阶段,我们审查了现有系统,以制定用户体验考虑因素的分类法,然后通过采访八位用户体验和人工智能从业者来完善它。由此产生的分类包括用户提示、可解释性、用户控制和用户心理模型等类别,以及相应的子类别和示例设计功能。在第二阶段,我们对 20 名参与者进行了一项绿野仙踪研究,其中一名研究人员充当基于网络的计算机使用代理,并探究用户在正常、容易出错和有风险的执行过程中的反应。我们利用研究结果来验证第一阶段的分类法,并通过确定设计领域之间的联系以及用户需求和场景的差异来加深我们对设计空间的理解。我们的分类法和实证见解为开发人员提供了一张地图,让他们在计算机使用代理设计中考虑用户体验的不同方面,并将他们的设计置于用户的不同需求和场景中。

  • † 卡内基梅隆大学