面部表达识别(FER)在计算机视觉应用中起着关键作用,包括视频不存在和人类计算机的相互作用。尽管FER的进展没有局部进步,但在处理在现实世界情景和数据集中遇到的低分辨率面部图像时,性能仍然会摇摆不定。一致性约束技术引起了人们的关注,以产生强大的卷积神经网络模型,从而通过增强来适应变化,但它们的功效在低分辨率FER的领域中得到了影响。这种性能下降可以归因于网络难以提取表达特征的增强样本。在本文中,我们确定了在考虑各种程度的分辨率时引起过度拟合问题的硬样品,并提出了新颖的硬样品感知一致性(HSAC)损失函数,其中包括组合注意力同意和标签分布学习。通过结合高分辨率和翻转低分辨率图像的激活图,将注意力图与适当的目标注意图与适当的目标注意图与适当的目标注意力图相结合的注意图与适当的目标注意力图的注意力图对齐。我们通过结合原始目标和高分辨率输入的预测来测量低分辨率面部图像的分类难度,并适应标签分布学习。我们的HSAC通过有效管理硬样品来赋予网络能够实现概括。各种FER数据集上的广泛实验证明了我们提出的方法比现有方法的多尺度低分辨率图像的优越性。此外,我们在原始RAF-DB数据集中达到了90.97%的最新性能。
科学监测是科学建议的基本基础。除其他外,监测旨在有助于理解人为使用的影响(例如fineries),股票的健康,个人和保护和保护措施的有效性(例如,mpas)。监测对底栖鱼类和底栖鱼类社区的监测通常是基于诸如底部拖网(Tostal Trawing)之类的侵入性方法,但是在某些情况下,侵入性方法可能较少。需要越来越多的海洋保护区和风力,在这种情况下,由于保守或技术和安全原因无法部署诸如拖网等传统方法,因此支持了越来越多的侵入性监测方法。为了支持新的监测概念的发展,我们进行了文献综述,以确定已经可用的方法的限制和机会。此外,我们提出了一个目的指南,可以帮助确定用于个人目的的适当方法。我们定义了使用四个不同标准分析的八种不同方法,并列出了它们的优势和缺点。我们将本指南进一步应用于波罗的海海洋保护区的监测,这表明除了传统的底部拖网,替代性和侵入性较低的方法外,还可以针对特定的研究目的。因此,我们鼓励科学家和经理考虑替代数据收集方法,以最大程度地减少科学抽样的环境影响。但是,我们的结果还表明,大多数方法仍然需要进一步的修改,尤其是在采样设计,方法的标准化以及与既定的调查方法的可比性方面。
学习多个参与者之间的时空关系对于群体活动识别至关重要。不同的群体活动通常会展示视频中参与者之间的多样化互动。因此,从时空参与者演化的单一视角来建模复杂的群体活动往往很困难。为了解决这个问题,我们提出了一个独特的双路径参与者交互 (Dual-AI) 框架,它以两种互补的顺序灵活地排列空间和时间变换器,通过整合不同时空路径的优点来增强参与者关系。此外,我们在 Dual-AI 的两个交互路径之间引入了一种新颖的多尺度参与者对比损失 (MAC-Loss)。通过帧和视频级别的自监督参与者一致性,MAC-Loss 可以有效区分单个参与者表示,以减少不同参与者之间的动作混淆。因此,我们的 Dual-AI 可以通过融合不同参与者的这些判别特征来增强群体活动识别。为了评估所提出的方法,我们在广泛使用的基准上进行了大量实验,包括排球 [ 21 ]、集体活动 [ 11 ] 和 NBA 数据集 [ 49 ]。所提出的 Dual-AI 在所有这些数据集上都实现了最佳性能。值得注意的是,所提出的 Dual-AI 使用 50% 的训练数据,其性能优于许多近期使用 100% 训练数据的方法。这证实了 Dual-AI 在群体活动识别方面的泛化能力,即使在有限监督的具有挑战性的场景下也是如此。
场景文本图像不仅包含样式信息(字体,背景),还包含内容信息(字符,纹理)。不同的场景文本任务需要不同的信息,但是以前的表示学习方法 - 在所有任务中使用紧密耦合的功能,从而导致次优性能。我们提出了一个旨在解开这两种功能的分解表示学习框架(亲爱的),以改善适应性,以更好地解决各种下游任务(选择您真正需要的内容)。具体来说,我们合成具有相同样式但内容不同的图像对数据集。基于数据集,我们通过监督设计将两种类型的功能分解。很明显,我们将视觉表示形式直接分为样式和内容功能,内容特征是通过文本识别损失来监督的,而对齐损失使图像对中的样式特征保持一致。然后,样式功能用于通过图像解码器重新构造对应图像的提示,以指示对应方的内容。这样的操作根据其独特属性有效地将功能分解。据我们所知,这是场景文本领域中第一次删除文本图像的固有属性。 我们的方法在场景文本识别,转换和编辑中实现了最新的性能。据我们所知,这是场景文本领域中第一次删除文本图像的固有属性。我们的方法在场景文本识别,转换和编辑中实现了最新的性能。
摘要 - 手动跟踪教室出勤,这是一种备受推崇的传统方法,由于其对错误和效率低下的敏感性而提出了重大挑战。这些限制不仅消耗了宝贵的教师时间,而且损害了学术记录的准确性,从而影响了学生参与和表现的评估。回答这个问题,我们提出了一种使用基于机器学习的识别系统自动化课堂出勤的方法。这项研究旨在提高教育环境中出勤跟踪的准确性,效率和可靠性。我们研究的核心在于系统的设计和实施,阐明体系结构,数据流和集成到课堂环境中。我们的分析结果表明该系统可以跟踪出勤率的能力,同时提供有关其性能指标的准确信息。我们还深入研究了在课堂上实施此类技术的道德和实际考虑。通过使用基于机器学习的识别来自动化该过程,教育机构可以提高其运行效率,降低错误,并最终提供更有生产力的学习环境。我们的研究为教育研究和技术进步的未来途径打开了大门。关键字 - 自动出勤,出勤跟踪,面部识别,机器学习,课堂技术
事件摄像机最近显示出对实用视觉任务的有益,例如行动识别,这要归功于其高度分辨率,功率效率和引起的隐私问题。然而,当前的研究是由1)处理事件的困难,因为它们的持续时间长时间和动态动作具有复杂而模棱两可的语义; 2)事件框架表示带有固定堆栈的冗余作用。我们发现语言自然传达了丰富的语义信息,从而使其在降低疾病的不确定性方面非常出色。鉴于此,我们提出了一种新颖的方法,这是第一次解决基于事件的动作识别的跨模式概念化的识别。我们的确切确切带来了两项技术贡献。首先,我们提出了一个自适应细粒事件(AFE)表示,以自适应地过滤固定对象的重复事件,同时保留动态的对象。这巧妙地增强了精确的性能,而无需额外的计算成本。然后,我们提出了一个基于概念推理的不确定性估计模块,该模块模拟了识别过程以丰富语义代表。尤其是,概念推理基于动作语义建立时间关系,而不必要的估计可以解决基于分布表示的动作的语义不确定性。实验表明,在PAF,HADDV和我们的SEACT数据集上,我们的确切确切识别获得了94.83%(+2.23%),90.10%(+2.23%),90.10%(+37.47%)和67.24%。
现代生活的几乎所有方面都取决于太空技术。多亏了计算机视频的一般和深度学习技术的巨大进步,几十年来,全世界都见证了将深度学习的发展用于解决太空问题的问题,例如自动驾驶机器人,诸如示踪剂,类似昆虫的机器人,类似昆虫的机器人和SpaceCraft的健康监测。这些只是一些在深度学习的帮助下具有高级空间行业的重要例子。但是,深度学习模型的成功需要大量的培训数据才能具有不错的性能,而另一方面,用于培训深度学习模型的公开空间数据集非常有限。当前没有用于基于太空的对象检测或实例分割的公共数据集,部分原因是手动注释对象分割掩码非常耗时,因为它们需要像素级标签,更不用说从空间获取图像的挑战了。在本文中,我们的目标是通过释放数据集以进行航天器检测,实例分割和零件识别来填补这一差距。这项工作的主要贡献是使用太空设置和卫星的图像开发数据集,并具有丰富的注释,包括绑定的航天器和口罩的框架盒对物体部分的水平,这些盒子是通过自动程序和手动努力的混合而获得的。我们还提供了对象检测和Intance Sementation的最新方法作为数据集的基准。可以在https://github.com/yurushia1998/satellitedataset上找到下载建议数据集的链接。
本文介绍了我们针对 2021 年人工智能城市挑战赛 (AICITY21) 的 Track2 的解决方案。Track2 是一个使用真实世界数据和合成数据的车辆重新识别 (ReID) 任务。在本次挑战中,我们主要关注四个点,即训练数据、无监督领域自适应 (UDA) 训练、后处理、模型集成。(1)裁剪训练数据和使用合成数据都可以帮助模型学习更多判别性特征。(2)由于测试集中有一个在训练集中未出现的新场景,因此 UDA 方法在挑战中表现良好。(3)后处理技术包括重新排名、图像到轨迹检索、摄像头间融合等,可显著提高最终性能。(4)我们集成了基于 CNN 的模型和基于 Transformer 的模型,它们提供了不同的表示多样性。通过上述技巧,我们的方法最终取得了 0.7445 的 mAP 分数,在比赛中获得第一名。代码可在 https://github.com/michuanhaohao/AICITY2021_Track2_DMT 获得。
1 美国东北大学网络科学研究所和物理系,马萨诸塞州波士顿 02115;2 美国哈佛医学院布莱根妇女医院医学系钱宁网络医学分部,马萨诸塞州波士顿 02115;3 美国哈佛大学生物医学信息学系,马萨诸塞州波士顿 02115;4 美国哈佛大学哈佛数据科学计划,马萨诸塞州剑桥 02138。5 Scipher Medicine,221 Crescent St, Suite 103A,马萨诸塞州沃尔瑟姆 02453;6 美国东北大学物理系,马萨诸塞州波士顿 02115;7 萨班哲大学工程与自然科学学院,土耳其伊斯坦布尔 34956;8 美国马萨诸塞州波士顿大学 NEIDL 微生物学系;9 美国马萨诸塞州波士顿哈佛医学院布莱根妇女医院医学系10 匈牙利布达佩斯 1051,中欧大学网络与数据科学系。 * 这些作者的贡献相同