XiaoMi-AI文件搜索系统
World File Search SystemDAVIS346
使用事件相机进行神经形态序列学习
图 1：机器人硬件和基于事件的视频。（A）移动机器人由带有 DAVIS346 事件摄像头的 TurtleBot3 Burger 构成。装有 48 个 SpiN-Naker 芯片的 Spinn-5 板（59）用于模拟我们的 SNN 模型。（B）该模型使用机器人在具有不同视觉混乱程度的自然环境中行驶时记录的数据进行训练/测试。（C）每当像素改变强度时，摄像头就会连续产生“事件”。'x' 和 'y'：像素地址，'t'：时间（来自原始 DAVIS 输出的纳秒时间分辨率），'on'：从暗到亮的变化，'off'：从亮到暗的变化。（D）传统视频具有固定速率的静态强度帧。（E）在向前运动期间集成“事件”，可以在事件摄像机的运动“帧”中可视化场景。红色和蓝色代表事件的极性，如图 (C) 所示。
揭开基于事件的视觉传感器偏置的神秘面纱……
基于事件的视觉传感器 (EVS) 最近引起了空间传感界的关注，因为它具有低延迟、宽动态范围以及动态视觉信息稀疏表示所需的最小数据要求等性能优势。迄今为止，已有多项研究证明了它们在 SDA 任务中的实用性，其中两项研究甚至报告了绝对灵敏度方面限制性能的经验测量结果。在这两项研究中，与在相同环境条件下运行的优化的基于帧的科学 CMOS 相机相比，EVS 未能达到相同的灵敏度，并且都报告了随着目标速度的增加灵敏度下降（通过以不同的速率扫描天空来测量）。值得注意的是，两项研究都没有彻底探索或描述 EVS 中提供的大量用户定义的传感器偏差。本文应用对 EVS 偏差优化和噪声性能的理解最新进展来探索可调 EVS 偏差所提供的多种自由度。通过有针对性地探索可用的参数空间，我们尝试在亚像素、暗淡目标检测这一具有挑战性的任务中突破 EVS 的性能极限，并确定可应用于任何 COTS EVS 的通用偏置技术和原理。新的模拟工具可以准确模拟 EVS 对暗淡快速移动点源的响应。使用 DAVIS346 EVS 和自定义实验室设置（校准为模拟不同亮度和速度的点源物体），我们展示了 11 种不同的手动选择偏置配置的灵敏度结果。结果，我们接近优化了 SDA 任务的 EVS 偏置设置，与默认或简单偏置配置相比，灵敏度提高了 1.6 m V（≈ 4.3 × 暗淡），并且能够检测到移动速度快 6.6 倍的物体。我们的结果表明，通过采用更优化的偏置配置，可以显著改善先前关于扫描时 EVS 限制幅度和灵敏度的报告。