详细内容或原文请订阅后点击阅览
SQUIRE：通过 Slot QUery 中间 REpresentations 进行交互式 UI 创作
前端开发人员创建 UI 原型来评估替代方案，这是一个反复迭代和细化的耗时过程。生成式 AI 代码助手只需通过聊天界面提示即可实现快速原型设计，而无需编写代码。然而，虽然这种交互为开发人员提供了灵活性，因为他们可以编写他们想要的任何提示，但它使得控制生成的内容变得具有挑战性。首先，自然语言本身可能含糊不清，使得开发人员很难准确地传达他们的意图。其次，模型可能会做出不可预测的响应……
来源:Apple机器学习研究前端开发人员创建 UI 原型来评估替代方案，这是一个反复迭代和细化的耗时过程。生成式 AI 代码助手只需通过聊天界面提示即可实现快速原型设计，而无需编写代码。然而，虽然这种交互为开发人员提供了灵活性，因为他们可以编写他们想要的任何提示，但它使得控制生成的内容变得具有挑战性。首先，自然语言本身可能含糊不清，使得开发人员很难准确地传达他们的意图。其次，模型可能会做出不可预测的响应，需要开发人员通过反复试验来重新提示以修复任何不需要的更改。为了解决这些弱点，我们引入了 Squire，这是一个专为引导原型探索和改进而设计的系统。在 Squire 中，开发人员通过指向并单击系统建议的不同替代方案来逐步构建 UI 组件树。额外的功能可供开发人员改进目标 UI 的外观。所有交互都有明确的范围，并保证 UI 的哪些部分会发生变化，不会发生变化。该系统由一种名为 SquireIR 的新型中间表示形式支持，并具有用于受控探索和细化的语言支持。通过一项用户研究，11 名前端开发人员使用 Squire 实现移动 Web 原型，我们发现开发人员可以有效地探索和迭代具有高水平感知控制的不同 UI 替代方案。开发人员还对 Squire 的可用性和总体满意度给予了积极评价。我们的研究结果表明，通过将聊天与明确范围的可供性相结合，在快速 UI 原型工具中控制代码生成的巨大潜力。