机构名称：
¥ 1.0
神经编码是系统神经科学中的核心问题之一，用于了解大脑如何从环境中处理刺激，此外，它也是设计脑与机器界面算法的基石，在该算法中，解码传入的刺激是高度要求的，以便更好地性能进行物理设备的性能。传统研究人员将功能性磁共振成像（fMRI）数据作为解码视觉场景感兴趣的神经信号。但是，我们的视觉感知在称为神经尖峰的事件方面以毫秒的快速时间尺度运行。几乎没有使用尖峰进行解码的研究。在这里，我们通过开发一个基于深层神经网络的新型解码框架（名为Spike-图像解码器（SID））来重建自然视觉场景（包括静态图像和动态视频），从实验记录的视网膜神经节细胞的尖峰中重建了新的解码框架。SID是一个端到端解码器，其一端为神经尖峰，另一端为图像，可以直接训练它，以使视觉场景以高度准确的方式从尖峰重建。与现有的fMRI解码模型相比，我们的SID在视觉刺激的重建方面也表现出色。此外，借助Spike编码器，我们证明SID可以通过使用MNIST，CIFAR10和CIFAR100的图像数据集将其推广到任意视觉场景。此外，有了预先训练的SID，可以解码任何动态视频，以实现通过Spikes对视觉场景进行实时编码和解码。©2020 Elsevier Ltd.保留所有权利。总的来说，我们的结果为人工视觉系统（例如基于事件的视觉摄像机和视觉神经图）提供了有关神经形态计算的新启示。
自然视觉场景的神经网络重建...
主要关键词
相关文件推荐
