环境在各个序列中是不同的。参与者总共学习了四个序列:一条绿色和蓝色路径,包含一组八个环境,另一条绿色和蓝色路径,包含一组不同的八个环境。为了便于说明,这里只描绘了一条绿色和一条蓝色路径。(b)故事生成。为了学习环境的顺序,参与者为每条路径生成故事,以按顺序链接环境。参与者被告知将最终环境链接回第一个环境以创建一个循环。(c)虚拟现实训练。参与者随后在沉浸式虚拟现实中以绿色路径顺序和蓝色路径顺序探索环境,同时排练他们的故事。在给定的环境中,会出现一个绿色和蓝色的球体。触摸这些球体时,参与者会按照相应的(绿色或蓝色)序列传送到下一个环境。然后,参与者回忆起四个序列中的每一个的顺序(未显示)。环境图像是游戏引擎 Unity 中从可用于商业用途的资产创建的 3D 环境的屏幕截图。
我们提出了一个协作智能系统的分层框架。该框架根据协作活动的性质和必须共享的信息来组织研究挑战,每个级别都建立在较低级别提供的功能之上。我们回顾了每个级别的研究范式,描述了基于工程的经典方法和基于机器学习的现代替代方案,并使用假设的个人服务机器人进行了示例说明。我们讨论了各个级别上出现的跨领域问题,重点关注沟通和共享理解的问题、解释的作用以及协作的社会性质。最后,我们总结了研究挑战,并讨论了通过与智能系统的协作来增强人类能力并赋予人类和社会权力的技术可能带来的经济和社会影响。
时间结构的记忆既可以规划未来事件,也可以回顾过去事件。我们研究了大脑在预期过程中如何灵活地表示过去和未来的扩展时间序列。参与者在沉浸式虚拟现实中学习环境序列。序列对具有相同的环境,但顺序不同,从而实现特定于上下文的学习。在 fMRI 期间,参与者以给定的顺序预测未来多个步骤的即将到来的环境。时间结构在海马体和高阶视觉区域中以 (1) 双向表示,具有对过去和未来的分级表示和 (2) 分层表示,过去和未来的进一步事件在连续更靠前的大脑区域中表示。在海马体中,这些双向表示是特定于上下文的,而对遥远环境的抑制可以预测预期中的响应时间成本。总之,这项工作揭示了我们如何灵活地表示顺序结构以实现跨多个时间尺度的规划。
经过训练以执行视觉任务的深度神经网络 (DNN) 会学习与灵长类动物大脑中视觉区域层次结构相一致的表征。这一发现意味着灵长类动物的视觉系统通过将表征传递给大脑区域的层次序列来形成表征,就像 DNN 通过将表征传递给层的层次序列来形成表征一样。为了检验这一假设的有效性,我们优化了 DNN,使其不执行视觉任务,而是直接预测人类视觉区域 V1–V4 中的大脑活动。通过大量人类大脑活动样本,我们构建了针对大脑优化的网络,它比针对任务优化的网络更准确地预测大脑活动。我们表明,针对大脑优化的网络可以学习与严格层次结构中形成的表征不同的表征。针对大脑优化的网络不需要将 V1–V4 中的表征与层深度对齐;此外,它们能够准确地模拟前脑区域(例如 V4),而无需计算与后脑区域(例如 V1)相关的中间表示。我们的研究结果挑战了人类视觉区域 V1–V4(就像 DNN 的早期层)充当更高级区域的串行预处理序列的观点,并表明它们可能有助于它们自己的独立功能。
层次化任务分析 (HTA) 由赫尔大学于 20 世纪 60 年代末开发,旨在满足人们对理解复杂非重复性操作员任务所需技能的理性基础的需求,尤其是钢铁生产、化学和石油精炼以及发电中的过程控制任务。当时可用的主要分析工具要么来自经典工作研究(Gilbreth,1911;Taylor,1911),要么来自基于心理测量结构的技能分类法。工作研究提供了一组简单的单元,如“选择”、“掌握”和“组装”,描述重复的手动操作,但对于监控、控制和决策等“脑力”工作却不足。Gilbreth 的一些单元,例如“选择”,暗示了认知过程,但并没有认真尝试阐述或分析潜在的心理活动。