基于 LiDAR 的 3D 物体检测是自动驾驶的一项重要任务,当前的方法受到远处和遮挡物体的稀疏和部分点云的影响。在本文中,我们提出了一种新颖的两阶段方法,即 PC-RGNN,通过两个特定的解决方案来应对此类挑战。一方面,我们引入了一个点云完成模块来恢复密集点和整个视图的高质量提案,同时保留原始结构。另一方面,设计了一个图神经网络模块,该模块通过局部-全局注意机制以及基于多尺度图的上下文聚合全面捕捉点之间的关系,大大增强了编码特征。在 KITTI 基准上进行的大量实验表明,所提出的方法比以前最先进的基线方法有显著的进步,凸显了其有效性。
近年来,视觉语言预训练框架在自然语言过程和计算机视觉方面取得了重大进展,从而在各种下游任务上取得了显着的绩效提高。但是,当扩展到点云数据时,现有的作品主要集中在构建特定于任务的模型上,并且无法提取概括良好的Univer-Sal 3D视觉嵌入。我们仔细研究了语义3D场景理解中的三个常见任务,并获得了对训练模型的开发的关键见解。以这些观察的启发,我们提出了一个视觉语言的预训练框架 - 工作3DVLP(3D视觉语言预训练对象对比度学习),它可以灵活地对3D视觉 - 语言下游任务转移。3DVLP将视觉接地作为代理任务,并引入了对象级别引导检测(OID)损失,以在场景中获得高质量的建议。此外,我们设计对象级交叉对比度对齐(OCC)任务和对象级别的自我对比度学习(OSC)任务,以将对象与示例对齐并显然区分场景中的不同对象。广泛的实验验证了三个3D视觉任务上3DVLP的出色表现,反映了其在语义3D场景理解中的优势。代码可在https://github.com/iridescentttt/3dvlp上找到。
摘要 - 水资源是人类的基础。表面浮游物体的精确检测是环境保护无人机进行河流清洁操作的主要先决条件。针对当前目标检测算法在复杂场景和低特征识别能力下对水面上的小目标的不良适应性,本文提出了水表面流动物体检测算法USV-yolo,这实现了在内陆河流复杂条件下充电对象的准确识别和检测。最初,设计了一种新颖的C2F频道模块。它优化了特征信息的利用,并通过顺序融合和串联从瓶颈层发出的特征信息来提高检测浮动物体的准确性;其次,该设计介绍了GS-EVC模块,该模块通过合并GSCONV和SHUF-flof flof flof flof flof flof flof flof flof flof flof flopl oterations介绍了表面炉的原始特征信息的利用,增强了远程特征信息之间的依赖性,并增强了特征识别能力;最终,骨干网络中的标准卷积被全尺寸动态ODCONV代替。其中的加权注意机制可以适应复杂目标的特征提取,从而进一步提高了网络的检测精度。实验是在开源数据集(浮动waste-i和flow-img)上进行的,实验结果表明,本文中的USV-Yolo算法提高了平均检测精度,地图50和MAP 50-95,分别提高了4.3%和6.1%,比原始网络更好,这是其他经典的目标。
使用扩展卡尔曼滤波器对声纳浮标进行主动物体跟踪 1 Ch.Lakshmi Sravya、2 G.Mahesh、3 S.Koteswara Rao、4 B.Omkar Lakshmi Jagan 1,2,3 电子与计算机工程系、4 电子与电气工程系,K L 大学,贡土尔,印度 1 lakshmi.sravi7@gmail.com、2 mahesh88088@gmail.com、3 skrao@kluniversity.in、4 lakshmijagan@kluniversity.in 摘要:在水下,声纳浮标接收物体信息。声纳浮标生成物体距离和方位测量值。扩展卡尔曼滤波器用于处理噪声破坏的测量值,以生成物体运动参数 (OMP)。OMP通过超高频链路与飞机进行进一步处理。给出了模拟结果。关键词-全球定位系统、声纳浮标、物体运动分析、随机处理、统计随机处理
对地球轨道上的空间物体进行表征是一项重要任务,特别是随着太空交通的增加和太空交通管理的出现。正确理解物体的形状、大小和姿态对于预测其未来行为至关重要。光变曲线越来越多地被用于表征物体,方法从简单的回归分析到复杂的人工智能解决方案。本文介绍和演示的方法是一种基于卷积神经网络的机器学习算法,能够表征物体的几何形状、姿态和材料等物体参数。该方法旨在成为一种灵活的分类方法,可以扩展到所有轨道和任何类型的物体,包括碎片。本文介绍了正在进行的研究的中间结果,展示了多分类和多分支分类模型的使用。结果表明,该方法可以从单个完整的夜间光变曲线中成功地以超过 80% 的准确率对地球同步轨道上物体的形状、大小、姿态和主要材料进行分类。
现实世界的传感处理应用需要紧凑、低延迟和低功耗的计算系统。混合忆阻器-互补金属氧化物半导体神经形态架构凭借其内存事件驱动计算能力,为此类任务提供了理想的硬件基础。为了展示此类系统的全部潜力,我们提出并通过实验演示了一种用于现实世界对象定位应用的端到端传感处理解决方案。从仓鸮的神经解剖学中汲取灵感,我们开发了一种生物启发的事件驱动对象定位系统,将最先进的压电微机械超声换能器传感器与基于神经形态电阻式存储器的计算图结合在一起。我们展示了由基于电阻式存储器的巧合检测器、延迟线电路和全定制超声传感器组成的制造系统的测量结果。我们使用这些实验结果来校准我们的系统级模拟。然后使用这些模拟来估计对象定位模型的角度分辨率和能量效率。结果揭示了我们的方法的潜力,经评估,其能量效率比执行相同任务的微控制器高出几个数量级。
目前最先进的物体识别算法——深度卷积神经网络 (DCNN),灵感来自哺乳动物视觉系统的架构,在许多任务上能够达到人类水平的表现。在对 DCNN 进行物体识别任务训练时,已证明 DCNN 能够开发出与哺乳动物视觉系统中观察到的隐藏表征相似的隐藏表征 (Razavi 和 Kriegeskorte,2014 年;Yamins 和 Dicarlo,2016 年;Gu 和 van Gerven,2015 年;Mcclure 和 Kriegeskorte,2016 年)。此外,在物体识别任务上训练的 DCNN 是目前我们拥有的哺乳动物视觉系统的最佳模型之一。这让我们假设,教导 DCNN 实现更像大脑的表征可以提高其性能。为了测试这一点,我们在一个复合任务上训练了 DCNN,其中网络被训练为:(a) 对物体图像进行分类;同时 (b) 具有与猴子视觉皮层神经记录中观察到的中间表征相似的中间表征。与纯粹为对象分类而训练的 DCNN 相比,在复合任务上训练的 DCNN 具有更好的对象识别性能,并且对标签损坏的鲁棒性更强。有趣的是,我们发现这个过程不需要神经数据,但具有与神经数据相同统计特性的随机数据也会提高性能。虽然我们在复合任务上训练时观察到的性能提升与“纯”对象识别任务相比并不大,但它们非常稳健。值得注意的是,我们在研究的所有网络变体中都观察到了这些性能提升,包括:较小(CORNet-Z)与较大(VGG-16)架构;优化器的变化(Adam 与梯度下降);激活函数的变化(ReLU 与 ELU);以及网络初始化的变化。我们的结果证明了一种训练对象识别网络的新方法的潜在效用,使用大脑(或至少是其激活模式的统计特性)作为训练 DCNN 的教师信号的策略。© 2020 Elsevier Ltd. 保留所有权利。
摘要:肿瘤病变分割是从 MR 神经放射图像中研究和描述癌症的关键步骤。目前,许多深度学习分割架构已被证明在它们所训练的特定肿瘤类型上表现良好(例如,大脑半球的胶质母细胞瘤)。然而,在给定肿瘤类型上进行大量训练的高性能网络可能在没有标记病例允许训练或迁移学习的罕见肿瘤类型上表现不佳。然而,由于常见肿瘤和罕见肿瘤在病变内和周围存在一些视觉相似性,因此可以将问题分为两个步骤:物体检测和分割。对于每个步骤,在常见病变上训练过的网络可以按照域自适应方案用于罕见病变,而无需额外的微调。这项工作提出了一种弹性肿瘤病变描绘策略,该策略基于实现检测和分割的已建立的基本网络的组合。我们的策略使我们能够在训练期间对位于未见肿瘤背景区域中的罕见肿瘤实现稳健的分割推断。以弥漫性内生性脑桥胶质瘤 (DIPG) 为例,我们无需进一步训练或网络架构调整即可实现 0.62 的平均骰子分数。
各种研究都对物体识别(大脑的基本能力)的潜在机制进行了研究。然而,对识别速度和准确度之间的平衡的探索较少。大多数物体识别的计算模型都无法解释识别时间,因此只关注识别准确度,原因有两个:缺乏感官处理的时间表征机制,以及使用非生物分类器进行决策处理。在这里,我们提出了一个物体识别的分层时间模型,使用脉冲深度神经网络与生物学上合理的决策模型相结合,以解释识别时间和准确度。我们表明,所提模型的响应动力学可以类似于大脑的响应动力学。首先,在物体识别任务中,该模型可以模拟人类和猴子的识别时间和准确度。其次,该模型可以复制文献中观察到的不同速度-准确度权衡机制。更重要的是,我们证明了所提模型中不同抽象级别(上级、中级和下级)的时间表征与先前研究中观察到的大脑表征动态相匹配。我们得出结论,由分层前馈脉冲结构产生的脉冲的积累可以很好地解释决策的动态,也可以解释不同抽象级别的表示动态。关键词:时间对象识别、速度-准确度权衡、深度脉冲卷积神经网络、积累到边界模型、动态表示相异矩阵
空中触觉这项令人兴奋的新技术已被汽车和娱乐等多个行业采用,但它尚未出现在模拟飞行员训练或现实驾驶舱中。全飞行模拟器的制造、维护和操作成本高昂。不仅如此,每个模拟器仅限于一种飞机类型,这对于拥有多架飞机的大多数航空公司来说效率低下。随着触摸屏仪表的日益流行,驾驶舱显示器需要飞行员将注意力从窗外的视线中移开。但通过使用手势识别界面结合空中触觉反馈,我们可以弥补这一缺陷,同时为已经熟悉使用传统驾驶舱和传统仪表的飞行员增加现有技术的另一个维度。同时,使用增强现实和虚拟现实技术的模拟环境提供了高质量的沉浸式培训,飞行员可以从数百小时的模拟训练转变为在第一次飞行中对数百人的生命负责。空中触觉技术提供的软件可重新编程性和动态丰富性与基本全动平台相结合,可以实现仪表布局的互换,从而增强模拟沉浸感和环境。最后,通过借鉴和探索汽车行业的概念,本概念论文介绍了驾驶舱设计如何通过采用这项技术进行演变。如果飞行员的证词表明他们可以适应虚拟物体,那么这可以取代物理控制吗?