机构名称：
¥ 1.0
许多人工智能系统设计师都在努力寻找最佳方法，以收集不同类型的训练数据。在线群体提供了一种廉价的按需情报来源，但他们往往缺乏许多领域所需的专业知识。专家提供隐性知识和更细致入微的输入，但他们更难招募。为了探索这种权衡，我们在设计基于文本的对话代理的背景下，比较了新手和专家在人类智能任务方面的表现和看法。我们开发了一个初步的聊天机器人，它模拟与寻求心理健康建议的人的对话，以帮助教育 7cups.com 的志愿听众。然后，我们招募了经验丰富的听众（领域专家）和 MTurk 新手工作者（群体工作者）来执行任务，以改进具有不同复杂程度的聊天机器人。新手群体在只需要自然语言理解的任务上的表现与专家相当，例如纠正系统对用户语句的分类方式。对于更具生成性的任务，例如创建新的聊天机器人对话，专家们表现出更高的质量、新颖性和情感。我们还发现了一个激励差距：众包工作者喜欢互动任务，而专家们则认为这项工作乏味且重复。我们提供了设计考虑，以分配众包工作者和专家完成 AI 系统的输入任务，并更好地激励专家参与 AI 的低级数据工作。
比较人工智能数据工作的专家和新手
主要关键词
相关文件推荐
