自 20 世纪 80 年代以来,磁共振成像 (MRI) 就已用于研究发育中的胎儿大脑。然而,运动 (母亲和胎儿的) 一直是一个真正的挑战,限制了所获取图像的探索能力。在产前成像中,大脑的完整图像实际上是一堆 2D 切片。这些采集通常沿空间的三个轴进行,以便为放射科医生提供大脑的 3D“视觉”。切片的采集时间通常足够短 (少于 1 秒) 以“冻结”运动。因此,受试者的运动主要会引起几何失真伪影,即 2D 切片的堆叠不能直接反映大脑的 3D 几何形状。因此,有必要回顾性地估计运动以重建胎儿大脑的 3D 图像 [1]。胎儿数据重建的主要方法称为“切片到体积配准”的 SVR,该方法基于两个步骤:估计相对运动,然后融合数据 [2–4]。在产前成像的情况下,配准问题属于 2D-3D 类型,即我们必须估计切片和参考体积之间的运动。此参考体积也是我们想要重建的图像,因此是未知的。从对参考体积的首次估计,通过最小化当前切片和参考体积之间的对齐标准来估计每个切片的对齐。然后根据为每个切片估计的变换集重新计算后者。重建体积的质量在很大程度上取决于切片配准的质量。该过程以迭代方式重复,直到算法收敛。为了使这些方法对受试者的运动更具鲁棒性,已经开发了深度学习方法 [5,6]。然而,基于迭代重建的方法对于分析临床常规获取的大型图像数据库仍然不够稳健。因此,有必要检测出未对准的切片,以便不将它们包括在重建步骤中[7,8]或减少它们对重建的影响[9]。为了解决这个问题,一种解决方案是通过使用正交切片的交点并将它们的对应关系强加到 3D 交点 [10],将切片的运动校正与重建步骤完全分开。这种方法可以独立解决切片运动校正和 3D 体积重建的问题。在本文中,我们开发了一种使用机器学习方法来估计与未对准切片检测相关的切片运动的方法。所提出的方法称为 ROSI,即“基于正交切片交点的配准”。对合成和真实数据进行的评估表明,与 SVR 方法相比,所提出的方法更有吸引力。
摘要:随着人工视网膜的进步,神经形态计算在过去 20 年中已成为一个日益增长的研究领域。机器人、自动驾驶、医疗设备中的应用开始出现。然而,仍然存在一些主要问题,因为使用的方法过于频繁地模仿,甚至简单地适应为根本不同类型的数据而开发的标准基于帧的技术。这些技术通常处理批量数据,执行全局优化,同时忘记事件的基本性质。由于它们呈现场景的微小变化,我们认为在计算时应将其视为此类变化。本论文重点关注视觉里程计的案例,以开发完全基于事件的计算技术,利用现有的神经形态传感器的全部优势。使用无穷小更新,我们开发了低延迟算法,同时处理截然不同的场景动态。通过仔细分析事件流,我们相信可以在低计算成本下实现低延迟,这再次表明神经形态工程是减少计算机视觉能量足迹的一种方法。第一部分解决了屏幕跟踪问题。通过使用惯性模型,我们开发了一种高频跟踪解决方案,无需事先了解相关形状。第二组算法展示了如何从双目系统计算光流和深度,并以异步方式使用它们来计算视觉传感器自我运动估计。第三部分将前两个部分组合成一个虚拟模型,几乎不需要对场景进行任何假设即可恢复在线姿势。最后,最后一部分更深入地分析了基于事件的范式中时间的重要性,并描述了为实现正确和高效的时间处理而实施的开发框架解决方案。
如今,惯性传感器的运动估计已广泛应用于从飞机导航到可充气自行车头盔等各种应用领域。惯性传感器运动估计的精度取决于测量误差的大小。减少惯性传感器测量误差的一种方法是使用比运动估计所需更多的传感器。通过对冗余传感器的测量结果进行平均,可以减少独立误差的影响。但是,通过在刚体上放置多个惯性传感器,可以获得比简单平均更多的运动信息。例如,刚体的逐点加速度包含有关刚体旋转的信息。本论文研究并提出了如何融合惯性传感器阵列测量结果的方法,以及如何估计和校准传感器中存在的系统测量误差。惯性传感器阵列包含多个加速度计和多个陀螺仪。在运动估计应用中,通常从陀螺仪测量中估计角速度,然后将角速度积分为方向。角速度也可以从多个加速度计中估计。本论文提出了融合加速度计和陀螺仪测量的不同模型,以实现更准确的方向估计。通过提高方向的准确性
摘要 — 无人机的视觉对于无人机相关应用(例如搜索和救援、在移动平台上着陆等)非常重要。在本工作中,我们开发了无人机在移动平台上着陆以及复杂环境中无人机物体检测和跟踪的集成系统。首先,我们提出了一种基于 LoG 的鲁棒深度神经网络进行物体检测和跟踪,与典型的基于深度网络的方法相比,它在对物体尺度和光照的鲁棒性方面具有很大的优势。然后,我们还在原有的卡尔曼滤波器的基础上进行了改进,并设计了一个基于迭代多模型的滤波器来解决运动估计实际情况下未知动态的问题。接下来,我们实现了整个系统,并在两种复杂情况下进行了基于 ROS Gazebo 的测试,以验证我们设计的有效性。最后,我们将提出的检测、跟踪和运动估计策略部署到实际应用中,以实现无人机对支柱的跟踪和避障。事实证明,我们的系统在实际应用中表现出很高的准确性和稳健性。
摘要 — 无人机的视觉对于无人机相关应用(例如搜索和救援、在移动平台上着陆等)非常重要。在本工作中,我们开发了无人机在移动平台上着陆以及复杂环境中无人机物体检测和跟踪的集成系统。首先,我们提出了一种基于 LoG 的鲁棒深度神经网络进行物体检测和跟踪,与典型的基于深度网络的方法相比,它在对物体尺度和光照的鲁棒性方面具有很大的优势。然后,我们还在原有的卡尔曼滤波器的基础上进行了改进,并设计了一个基于迭代多模型的滤波器来解决运动估计实际情况下未知动态的问题。接下来,我们实现了整个系统,并在两种复杂情况下进行了基于 ROS Gazebo 的测试,以验证我们设计的有效性。最后,我们将提出的检测、跟踪和运动估计策略部署到实际应用中,以实现无人机对支柱的跟踪和避障。事实证明,我们的系统在实际应用中表现出很高的准确性和稳健性。
2017 年,团队首席研究员 Eugenia Chiappe 获得了 ERC 启动基金,以支持她的研究,以了解估计动物自身运动的神经回路功能和组织的基本原理,特别是在视觉引导运动的情况下。我们大脑的许多基本功能,从运动控制到导航等更具认知性的操作,都严重依赖于自我运动估计。在该资金的支持下,团队将研究哪些回路参与了这种表示,以及这些回路执行了哪些计算。此外,他们还将致力于确定产生这些计算的活动动态和机制。
1实施各种灰度转换以增强图像。2实施直方图均衡技术。3编写一个程序,以在输入图像上应用卷积过程以进行图像平滑。4实现定向梯度(HOG)的直方图进行特征提取。5编写一个程序,以在输入图像上应用比例不变特征变换。6实施视频中背景减法的框架差异技术。7实施主成分分析以计算特征向量以降低维度。8实施对象检测算法yolo。9实现R-CNN算法进行对象检测。10使用光流技术实施运动估计。11实现对象识别。12实现面部表达识别。
鉴于耶鲁大学的一项研究表明,自开始接种疫苗至 2021 年 7 月 1 日,纽约市的疫苗接种运动估计已预防了约 250,000 例 COVID-19 病例、44,000 例住院病例和 8,300 例死于 COVID-19 感染,且纽约市认为自此以后预防病例、住院和死亡的人数有所上升;并且在 2021 年 1 月 1 日至 2021 年 6 月 15 日期间,超过 98% 的 COVID-19 感染住院和死亡病例涉及未完全接种疫苗的人;
课程目标和预期的学习成果,该研究生课程向学生介绍了计算机视野,其广泛的目标是创建用于处理视觉信号(图像,视频等)的算法和系统用于低级,中级和高级感知任务。本课程介绍了从了解针孔相机的成像过程开始的广泛的原理和技术,了解镜头,镜头,梯度和边缘,3D结构估计,运动估计,运动估算,对感知任务,例如形状识别,表面识别,面部识别,活动识别,活动识别,现场识别和场景。班级将是课堂讲座和讨论以及个人和小组项目的混合。