在计算机视觉中,识别视频流中的人类动作是一项具有挑战性的任务,其主要应用领域包括脑机接口和监控。深度学习最近取得了显著的成果,但在实践中却很难使用,因为它的训练需要大量数据集和专用的耗能硬件。在这项工作中,我们提出了一种基于储层计算范式的可扩展光子神经启发式架构,能够以最先进的精度识别基于视频的人类动作。我们的实验光学装置由现成的组件组成,并实现了一个易于训练且可扩展到数十万个节点的大型并行循环神经网络。这项工作为实现用于实时视频处理的简单可重构且节能的光子信息处理系统铺平了道路。
主要关键词