对准确的3D手姿势估计的追求是理解以自我为中心视力领域的人类活动的基石。大多数现有估计方法仍然依赖单视图像作为输入,从而导致潜在的局限性,例如,深度有限的视野和义务。解决这些问题,添加另一个相机以更好地捕获手的形状是实践方向。然而,现有的多视图手姿势姿势方法具有两个主要缺点:1)重新训练的多视图注释,这些注释是备用的。2)在测试过程中,如果相机参数/布局与训练中使用的相同,则模型将变为inpapplicable。在本文中,我们提出了一种新颖的单算观看改编(S2DHAND)解决方案,该解决方案将预先训练的单视估计器适应双视图。与现有的多视图训练方法相比,1)我们的适应过程是无监督的,消除了对多视图注释的需求。2)此外,我们的方法可以处理带有未知相机参数的Arbitarary双视图对,从而使该模型适用于不同的相机设置。具体来说,S2DHAND建立在某些立体声约束上,包括两种视图之间的成对跨视图共识和转换的不变性。这两个立体声约束以互补的方式使用来进行伪标记,从而允许可靠的适应性。评估结果表明,在内部和跨数据库设置下,S2DHAND在任意摄像机对上实现了重大的实现,并且胜过具有领先性能的现有适应方法。项目页面:https://github.com/ut-vision/s2dhand。
单眼3D检测(M3D)的目的是从单视图像中进行精确的3D观察定位,该图像通常涉及3D检测框的劳动密集型注释。最近已经研究了弱监督的M3D通过利用许多存在的2D注释来遵循3D注释过程,但通常需要额外的培训数据,例如LiDAR Point Clouds或多视图图像,这些数据会大大降低其在各种应用中的适用性和可用性。我们提出了SKD-WM3D,这是一个弱监督的单眼3D检测框架,利用深度插入以实现M3D,并具有单一视图图像,而无需任何3D注释或其他培训数据。SKD-WM3D中的一个关键设计是一个自我知识的蒸馏框架,它通过融合深度信息并有效地减轻单核场景中固有的深度模棱两可,从而将图像特征转换为3D类似的表示形式,而无需计算上的计算层面。此外,我们设计了不确定性感知的分离损失和梯度定位的转移调制策略,分别促进了知识获取和知识转移。广泛的实验表明,SKD-WM3D明显超过了最新的实验,甚至与许多完全监督的方法相当。
1 印第安纳医学院儿科、解剖学、医学和分子遗传学系 Herman B Wells 儿科研究中心,美国印第安纳州印第安纳波利斯 46202 2 印第安纳大学基因组学和生物信息学中心,美国布卢明顿 3 劳伦斯伯克利国家实验室环境基因组学和系统生物学部,美国加利福尼亚州伯克利 94720 4 加利福尼亚大学比较生物化学项目,美国加利福尼亚州伯克利 94720。 5 美国能源部联合基因组研究所,劳伦斯伯克利国家实验室,美国加利福尼亚州伯克利 94720 6 伯尔尼大学生物医学研究系 (DBMR),瑞士伯尔尼 7 伯尔尼大学医院心脏病学系,瑞士伯尔尼
来自图像的深度估计是具有广泛应用的计算机视觉中的一个长期问题。对于基于视觉的自动驾驶系统,感知深度是理解道路对象和建模3D环境图的相关性的不可或缺的模块。由于深度神经网络用于求解各种视觉概率,因此基于CNN的方法[2-5,13,39 - 42,44,44,46,48,52]主导了各种深度基准。根据输入格式,它们主要将其分为多视图深度估计[3,13,23,26,44,45,51,53]和单视深度估计[14 - 16,19,37,38]。多视图方法估计深度的假设,即给定的深度,相机校准和摄像头姿势,这些像素应相似。他们依靠表现几何形状来三角形高质量深度。但是,多视图方法的准确性和鲁棒性在很大程度上依赖于相机的几何配置以及视图之间匹配的对应关系。首先,需要足够翻译相机以进行三角度。在自主驾驶的情况下,汽车可能会停在交通信号灯处或不移动而不移动,这会导致故障三角剖分。此外,多视图方法遭受动态对象和无动电区域的影响,它们在自动驱动方案中无处不在。另一个问题是对移动车辆的施加优化。在存在的大满贯方法中不可避免地噪声,更不用说具有挑战性和可取的情况了。具体来说,我们提出了一个两个分支网络,即例如,一辆机器人或自动驾驶汽车可以在不重新校准的情况下部署多年,原因是嘈杂的姿势。相比之下,作为单视图方法[14 - 16,19,37,38]依赖于对场景的语义理解和透视投影提示,它们对无纹理区域,动态对象,而不是依赖相机姿势更为易用。但是,由于规模歧义,其性能仍然远非多视图方法。在这里,我们倾向于考虑是否可以很好地结合两种方法的好处,以实现自主驾驶场景中的稳健和准确的单眼视频深度估计。尽管已经在先前的工作中探索了基于融合的系统[1,9],但他们都假定了理想的相机姿势。结果是融合系统的性能甚至比单视深度估计的噪声姿势还差。为了解决这个问题,我们提出了一个新型的自适应融合网络,以利用多视图和单视图方法的优势,并减轻其缺点,以保持高度的精度,并在噪声姿势下提高系统的影响力。一个靶向单眼深度提示,而另一个则利用多视图几何形状。两个分支都预测了深度图和置信图。补充语义提示和边缘细节在多视图分支的成本汇总中丢失了
无人接地车辆(UGV)为传统校园监视方法提供了一种新颖的替代方法,包括手动巡逻和摄像机监视。该项目旨在为校园监视开发低成本,健壮和模块化的UGV,从而使校园安全能够有效地远程监视不同的区域。通过同时本地化和映射算法的使用,UGV能够映射和自动绘制。通过测试,我们确定了UGV的最佳计划和运动控制器在城市环境中运行。之后,UGV在本地执行计算机视觉(CV)任务,以通过使用姿势估计模型来检测其视线中的任何潜在入侵者。检测到的入侵者的图像将通过另一个姿势分类模型通过,以确定任何其他可疑运动。
摘要:药物再利用是医学领域的一个新兴领域。配制用于治疗新临床疾病的新药需要时间,并且需要大量投资。因此,人们非常关注旧药再利用以用于新疗法。FDA 批准用于特定治疗的大多数药物也可用于治疗各种其他临床疾病。换句话说,可以说是药物的“重复使用”。这篇小型综述重点介绍了再利用药物在细菌感染和癌症治疗中的应用。除了药物再利用的好处之外,还有一些挑战需要解决。因此,本综述讨论了再利用药物在治疗传染性(细菌感染)和非传染性(癌症)疾病中的应用。关键词:药物再利用;V 期临床试验;生活方式药物
图像去雾是一种减少图像中雾霾、灰尘或雾气影响的方法,以便清晰地查看观察到的场景。文献中存在大量传统和基于机器学习的方法。然而,这些方法大多考虑可见光光谱中的彩色图像。显然,由于热红外光谱的波长较长,受雾霾的影响要小得多。但远距离观测期间的大气扰动也会导致热红外 (TIR) 光谱中的图像质量下降。在本文中,我们提出了一种为 TIR 图像生成合成雾的方法。然后,我们分析了现有的盲图像质量评估措施雾感知密度评估器 (FADE) 对 TIR 光谱的适用性。我们进一步全面概述了当前图像去雾的最新技术,并通过经验表明,许多最初为可见光图像设计的方法在应用于 TIR 光谱时表现得出奇的好。这在最近发布的 M3FD 数据集上进行的实验中得到了证实。
1 纽约市官方网站。COVID-19:数据。https://www1.nyc.gov/site/doh/covid/covid-19-data.page(2020 年 4 月 26 日访问)。2 Li H、Liu L、Zhang D 等人。SARS-CoV-2 和病毒性脓毒症:观察与假设。柳叶刀 2020;395:1517-20。3 Askanase A、Khalili L、Buyon J。关于 COVID-19 和自身免疫性疾病的思考。狼疮科学医学 2020;7:e000396。4 Gianfrancesco MA、Hyrich KL、Gossec L 等人。风湿病和 COVID-19:来自 COVID-19 全球风湿病学联盟提供者登记处的初始数据。柳叶刀风湿病学 2020; 2:e250–53。5 Monti S、Balduzzi S、Delvino P 等人。接受免疫抑制靶向疗法治疗的一系列慢性关节炎患者的 COVID-19 临床病程。Ann Rheum Dis 2020;79:667–68。6 Haberman R、Axelrad J、Chen A 等人。免疫介导炎症疾病中的 Covid-19——来自纽约的病例系列。N Engl J Med 2020;4 月 29 日在线发表。DOI:10·1056/NEJMc2009567。
本文提出了一种基于量子计算的算法来解决单图像超分辨率(SISR)问题。SISR 的一个著名经典方法依赖于成熟的逐块稀疏建模。然而,该领域的现状是深度神经网络(DNN)已表现出远超传统方法的效果。不过,量子计算有望很快在机器学习问题中变得越来越突出。因此,在本文中,我们有幸对将量子计算算法应用于 SISR 这一重要的图像增强问题进行了早期探索。在量子计算的两种范式,即通用门量子计算和绝热量子计算(AQC)中,后者已成功应用于实际的计算机视觉问题,其中量子并行性已被利用来有效地解决组合优化问题。本研究展示了如何将量子 SISR 公式化为稀疏编码优化问题,该问题使用通过 D-Wave Leap 平台访问的量子退火器进行求解。所提出的基于 AQC 的算法被证明可以实现比传统模拟更快的速度,同时保持相当的 SISR 精度 1 。
最近,有效的视觉变压器表现出出色的性能,并且在资源受限的范围内延迟较低。通常,他们在宏观水平上使用4×4贴片嵌入式和4阶段结构,同时在微观级别利用多头配置的同时注意力。本文旨在解决记忆效率高的人中所有设计级别的计算重复。我们发现,使用较大的修补茎不仅降低了内存访问成本,而且还通过利用令牌表示,从早期阶段降低了空间冗余,从而实现了态度性能。fur-hoverore,我们的初步分析表明,在早期阶段的注意力层可以用会议代替,并且后期阶段的几个注意力头在计算上是多余的。为了处理这一点,我们介绍了一个单头注意模块,该模块固有地预先预先冗余,并同时通过相结合的全局和本地信息来提高准确性。在解决方案的基础上,我们引入了Shvit,这是一种单头视觉变压器,获得了最先进的速度准确性权衡。例如,在ImagEnet-1k上,我们的SHVIT-S4在GPU,CPU和iPhone12移动设备上比MobileVitV2×1.0快3.3×,8.1×和2.4倍,而同时更准确。用于使用Mask-RCNN头对MS Coco进行的对象检测和实例分割,我们的模型分别在GPU和移动设备上表现出3.8×和2.0×下骨架潜伏期时,可以与FastVit-SA12进行比较。