执行混合现实需要解决许多问题。首先,必须找到/构建一个能够将虚拟 3D 场景叠加在受训者真实世界视角上的显示系统。为此,需要随时捕捉用户的准确位置和头部方向。此外,真实物体和虚拟物体之间的遮挡对于受训者的有效沉浸至关重要(例如,躲在墙后面的虚拟敌人不应该被受训者看到)。因此,需要找到一种捕捉现实世界的方法,以正确处理这些遮挡。此外,为了与虚拟角色互动,关注下马士兵射击虚拟角色的能力至关重要,这需要在士兵扣动扳机时获取其突击步枪的精确位置和方向。最后,保持受训者自由移动的能力需要他佩戴自主和非侵入式设备来执行任务。