摘要:人机自主团队 (HAT) 范式最近出现,用于设计混合团队,其中人类操作员与自主人工智能体合作。一个主要的挑战是将这个自主代理转变为一个更好的队友,使其能够与人类更多地相互依赖。所呈现的工作探索了两个轴线,得到了工业合作(在运输和工业系统领域)、学术伙伴关系(特别是南澳大利亚)和博士生指导的支持。第一个轴涉及认知状态的监控,以便使机器具有检测人类遇到的困难的能力。为了回答这个问题,提出了一种全局方法,从生理和行为数据的融合角度对操作员的心理负荷进行分类。然后通过研究认知控制的概念及其与心理负荷的关系,探索人类实施的调节机制。
这些团队的适配,让机器与人类更加“兼容”。探索了两条途径。一是涉及使用 CWA 方法和 IDM 技术离线提高机器的协作技能。另一个感兴趣的是人机合作的在线适应,其中自主系统可以是团队内的队友,也可以是团队之上的教练。最后,在法国和国外正在进行的举措的支持下,研究途径是开放的。它们涉及巩固用于监测认知状态的多层次和神经人体工程学方法,在人类和自主代理之间构建透明的对话,考虑瞬态情况和纵向情况,并扩大规模以研究更复杂的情况这些混合团队的配置。
致谢:Robert Sparrow 是澳大利亚研究委员会自动决策和社会卓越中心 (CE200100005) 的副研究员,并以该身份为本文做出了贡献。Adam Henschke 的贡献得到了社会颠覆性技术伦理研究计划的支持,该计划由荷兰教育、文化和科学部以及荷兰科学研究组织的引力计划资助(拨款编号 024.004.031)。作者要感谢 Tom Drummond 的评论和讨论,使本文更加完善。Joshua Hatherley 协助对本文进行了书目研究。1. Paul Scharre,“半人马战争:人类与自动化的错误选择”,Temple International & Comparative Law Journal 30(2016):151–65;另请参阅 Paul Scharre 的《无人军队:自主武器和战争的未来》(纽约:W. W. Norton & Company,2018 年)。
关于本文档 奇点团队的成员完成了这一集体战略研究项目,这是完成美国陆军战争学院 (USAWC) 战略研究硕士课程的先决条件之一。本报告的研究、分析和制作于 2022 年 10 月至 2023 年 4 月作为 2023 学年陆军未来研讨会的一部分进行。 要求 本报告基于可用的开源信息和对主题专家的采访,回答了美国陆军未来司令部指挥官詹姆斯·E·雷尼将军提出的一个战略问题。 到 2040 年,在人机协作的整个过程中,哪些可能的应用 1 在技术上可行、在军事上相关且在道德上可接受 3 ?
由于技术的进步,如今自动化不再仅仅被视为人类的工具,而由于执行复杂的任务,自动化越来越多地被视为团队成员。本文介绍了如何以最佳方式实现成功的团队合作,从而充分发挥人类操作员和自动化的优势。决定性因素是以人为本的工作设计,重点关注人类操作员的需求。本文以空中交通管制为例,并将研究结果转移到铁路行业现有联锁技术的处理中。信号员和自动化之间的团队合作的初步趋势今天已经出现。未来,这种新的团队合作形式可以借助引入的关于人类和自动化成功合作的关键方面的模型得到进一步发展。
摘要 道德考量是我们社会的组成部分,它促进合作、帮助和为更大的利益而牺牲。人工智能的进步使得人们更需要研究涉及此类系统开发和实施的道德考量。将道德融入基于人工智能的程序对于防止隐私泄露和决策偏见等负面结果至关重要。人机协作 (HAIT) 带来了额外的挑战,因为为其提供依据的道德原则和道德理论尚未被机器计算;人类必须保持“知情”才能仲裁道德考量。为此,人类判断和决策模型(例如代理-行为-后果 (ADC) 模型)对于指导人工智能队友的道德指导功能以及阐明人类如何以及为何(不)信任机器至关重要。本文将研究 ADC 模型在 HAIT 环境中的应用,以及在人工智能环境中使用以人为中心的道德模型所带来的挑战。由 ADC 模型决策树赋能的 AI 算法既能灵活适应各种道德框架,又能适应不同的环境和背景情况,因此我们相信这项研究为将道德原则应用于 HAIT 的挑战提供了一种新颖的解决方案。关键词:人机协作 (HAIT)、代理-行为-后果 (ADC) 模型、护理机器人、道德、信任、人工智能 (AI)
人工智能正逐渐进入军事行动,该学科的进步推动了战场自主性在质量和数量上的提升。这意味着作战人员将越来越多地与具有越来越先进的自主能力的机器共存。随着机器从简单的工具跃升为合作队友,人机协作将成为现代战争的核心。空军的忠诚僚机概念表明,人与机器之间的互动质量对于成功的人机协作与机器的技术复杂程度同样重要。了解如何确保人与机器之间的信任至关重要。人工智能和机器学习将使信任变得更加必要和更难实现,而与神经技术的融合可能会进一步使任务复杂化,带来新的挑战。
智能和复杂系统在我们的工作场所和家中越来越常见,为交通、健康和教育领域提供直接帮助。在许多情况下,这些系统的性质在某种程度上是普遍存在的,并影响着我们做出决策的方式。传统上,我们了解人类在团队中工作的好处,以及当这个团队无法工作时相关的陷阱和成本。然而,我们可以将自主代理视为一个合成合作伙伴,它扮演着传统上只属于人类的角色。在这些新的人机自主团队中,我们可以看到不同级别的自动化和决策支持,这些级别包含在明确的任务和目标层次中。然而,当我们开始研究更自主的系统和软件代理的性质时,我们看到一种伙伴关系,它可以根据任务的背景提出不同的权威结构。这可能因人或代理是否领导团队以实现目标而有所不同。本文研究了 HAT 组成的性质,同时研究了它在航空业中的应用以及如何评估对此类系统的信任。
本文探讨了定义适应群体中个体的人工智能 (AI) 的框架,并讨论了必须与不同人类伙伴合作的协作式 AI 系统所面临的技术挑战。协作式 AI 并非一刀切,因此 AI 系统必须根据每个人类伙伴的需求和能力调整其输出。例如,在与伙伴沟通时,AI 应该考虑其伙伴是否准备好接收并正确解释他们所接收的信息。放弃这种个人考虑可能会对伙伴的心理状态和能力产生不利影响。另一方面,成功适应每个人(或团队成员)的行为和能力可以为人类-AI 团队带来绩效效益。在此框架下,AI 队友通过首先学习人类决策过程的组成部分,然后更新自己的行为以积极影响正在进行的合作来适应人类伙伴。本文解释了这种人工智能适应形式在人机二元交互中的作用,并通过模拟导航领域的案例研究检验了其应用。
自主系统的进步和实施与人们对其使用所产生的伦理问题日益关注不谋而合。随着自主性在需要考虑伦理问题的情境中填补了队友的角色,这一点变得越来越重要。随着人工智能队友 (AT) 进入这些角色,需要进行研究来探索 AT 的道德规范如何影响人类的信任。当前的研究提出了两项研究,探讨 AT 的道德或不道德行为如何影响对该队友的信任。在研究 1 中,参与者对 AT 建议违反或遵守一套伦理原则的行动场景做出了反应。结果表明,道德认知和信任会受到伦理违规行为的影响,但只有伦理规范取决于伦理违规的类型。研究 2 中的参与者在与犯有伦理违规行为并试图修复信任(道歉或否认)的模拟 AT 执行团队任务后完成了焦点小组访谈。焦点小组的回应表明,违反道德规范的行为恶化了人们对 AT 的看法并降低了信任度,但仍然可以信任它执行任务。AT 的道歉和否认并没有修复受损的信任。研究结果表明信任和道德规范之间存在微妙的关系,需要进一步研究违反道德规范后的信任修复策略。