详细内容或原文请订阅后点击阅览
FlowEval：生成的用户界面的基于参考的评估
虽然大型语言模型 (LLM) 和编码代理通常应用于用户界面 (UI) 开发，但开发人员发现很难可靠地评估他们在视觉和交互设计方面的熟练程度。现有的评估要么依靠人类专家，他们可以通过测试关键流程来准确评估可用性，但速度慢且成本高；要么依靠自动化法官，虽然可扩展，但准确性较差且不透明。我们提出了 FlowEval，一个基于参考的框架，通过比较真实网站的导航轨迹与轨迹来衡量生成的 UI 是否支持真实的交互流......
来源:Apple机器学习研究虽然大型语言模型 (LLM) 和编码代理通常应用于用户界面 (UI) 开发，但开发人员发现很难可靠地评估他们在视觉和交互设计方面的熟练程度。现有的评估要么依靠人类专家，他们可以通过测试关键流程来准确评估可用性，但速度慢且成本高；要么依靠自动化法官，虽然可扩展，但准确性较差且不透明。我们提出了 FlowEval，一个基于参考的框架，通过使用基于参考的相似性指标（例如动态时间扭曲）将真实网站的导航轨迹与生成的类似物的轨迹进行比较，来衡量生成的 UI 是否支持真实的交互流。在与专家 UI 评估者进行的一项小规模研究中，我们表明基于参考的指标与人类判断密切相关，这表明它们可以为 UI 生成系统提供可扩展且值得信赖的评估。