在计算机视觉中,视频流中人体动作的识别是一项具有挑战性的任务,其主要应用领域包括脑机接口和监控。深度学习最近取得了显著的成果,但在实践中却很难使用,因为它的训练需要大量数据集和专用的耗能硬件。在这项工作中,我们提出了一种光子硬件方法。我们的实验装置由现成的组件组成,并实现了一个易于训练的循环神经网络,该网络有 16,384 个节点,可扩展到数十万个节点。该系统基于储层计算范式,经过训练,可以使用原始帧作为输入,或者使用定向梯度直方图算法提取的一组特征,从 KTH 视频数据库中识别六种人体动作。我们报告的分类准确率为 91.3%,与最先进的数字实现相当,同时与现有硬件方法相比,处理速度更快。由于光子架构提供的大规模并行处理能力,我们预计这项工作将为实时视频处理的简单可重构和节能的解决方案铺平道路。
主要关键词