摘要 - 使用面部视频的基于视频的心脏和呼吸率测量比传统的基于接触的传感器更有用和用户友好。但是,当前的大多数深度学习方法都需要地面真相脉冲和呼吸道波来进行模型训练,这很昂贵。在本文中,我们提出了校准Phys,这是一种基于视频的心脏和呼吸率测量方法,可以在多个相机之间校准。Calibibrationphys通过使用由多个相机同时捕获的面部视频来训练无监督标签的深度学习模型。对比度学习,以使使用多个摄像机通过同步视频预测的脉搏和呼吸波为正,而来自不同视频的脉冲和呼吸波为阴性。校准还通过数据增强技术提高了模型的鲁棒性,并成功利用了特定相机的预训练模型。利用两个数据集的实验结果表明,校准范围的表现优于先进的心脏和呼吸速率测量方法。由于我们仅使用来自多个相机的视频来优化摄像头模型,因此我们的方法使使用任意摄像机进行心脏和呼吸率测量很容易。
● 文章/视频:人工智能如何推荐视频 [ 链接 ] ● 视频:人工智能、社交媒体和选举 [ 链接 ] ● 视频:人工智能和社交媒体营销 [ 链接 ] ● 文章:人工智能在社交媒体中的利弊 [ 链接 ] ● 文章:视频游戏人工智能的社会和哲学影响 [ 链接 ]
产前干预可以降低产后认真的冠心病患者的风险,但目前的诊断是基于定性标准,这可能导致临床医生之间的诊断差异。目的:使用深度学习模型检测患有低塑性左心脏综合征(HLHS)胎儿的心脏超声(US)视频的形态和时间变化。招募了一小部分健康和13名HLHS患者,并收集了三个妊娠时间点的超声视频。对视频进行了预处理并分段到心脏周期视频,并培训了五个不同的深度学习CNN-LSTM模型(Mobilenetv2,Resnet18,Resnet15,Resnet50,Densenet121和Googlelenet)。最佳表现的三个模型用于开发一种新型的堆叠CNN-LSTM模型,该模型是使用五倍的交叉验证对HLHS和健康患者进行分类的训练。堆叠CNN-LSTM模型的准确性,精度,敏感性,F1得分和90.5%,92.5%,92.5%,92.5%,92.5%和85%的精度,精度,敏感性,F1得分和特异性的准确性,精度,敏感性,F1得分和特异性分别优于其他预先训练的CNN-LSTM模型,分别是视频范围的分类以及90级分类和92。使用超声视频的主题分类分别为92.5%,92.5%和85%。这项研究表明,使用深度学习模型使用超声视频对CHD产前患者进行分类的潜力,该视频可以在临床环境中对疾病的客观评估进行分类。
我们的研究团队在29个小时的视频中观看,录制和编码:12小时43分钟的Tiktok视频(或平均每个帐户2小时零32分钟)和16小时41分钟的YouTube短裤视频(或平均每个帐户3小时20分钟)。录音是手动和系统地编码的,以识别数据集中最常见的主题类别,参与者和标签以及最主要的神话或“谈话点”。通过编码和子编码与男性权利,反女权主义和新男性化的影响者有关的所有内容,我们能够根据不同的年龄概况,利益和相互作用的类型来确定Manosphere建议的频率和性质。
本文介绍了一种新颖的“公平性”数据集,以衡量 AI 模型对不同年龄、性别、表观肤色和环境光照条件的稳健性。我们的数据集由 3,011 名受试者组成,包含 45,000 多个视频,平均每人 15 个视频。这些视频是在美国多个州录制的,参与者是不同年龄、性别和表观肤色组的成年人。一个关键特征是每个受试者都同意参与并使用他们的肖像。此外,我们的年龄和性别注释由受试者自己提供。一组训练有素的注释者使用 Fitzpatrick 皮肤类型量表标记受试者的表观肤色 [ 6 ]。此外,还提供了在低环境光下录制的视频的注释。作为衡量跨某些属性的预测稳健性的应用,我们评估了最先进的表观年龄和性别分类方法。我们的实验从公平对待来自不同背景的人的角度对这些模型进行了彻底的分析。
摘要 - 自主驾驶技术的发展需要越来越复杂的方法来理解和预测现实世界的情况。视觉语言模型(VLM)正在成为革命性的工具,具有影响自主驾驶的巨大潜力。在本文中,我们提出了DriveGenVLM框架来生成驾驶视频并使用VLM来理解它们。为了实现这一目标,我们采用了一个基于降级扩散概率模型(DDPM)的视频生成框架,旨在预测现实世界的视频序列。然后,我们通过在Egintric视频(EILEV)上采用预训练的模型,探讨了我们生成的视频在VLM中使用的充分性。通过Waymo打开数据集对扩散模型进行了训练,并使用FR´Echet视频距离(FVD)得分进行了评估,以确保生成的视频的质量和现实性。EILEV为这些生成的视频提供了相应的叙述,这可能对自主驾驶领域有益。这些叙述可以增强交通现场的理解,帮助导航并提高计划功能。在DriveGenVLM框架中将视频生成与VLM的集成代表了利用先进的AI模型来解决自主驾驶中复杂挑战的重要一步。
您需要阅读研究论文,并在 Canvas 中的作业下上传每节课的问题和/或评论(不要发送给讲师)。每篇论文至少需要 3 个问题或评论。我们鼓励您观看面对面课堂讨论的视频,其中将讨论评论和研究文章。视频链接将发布在 Canvas 中。如果可能,您也可以参加面对面课程。
