XiaoMi-AI文件搜索系统
World File Search SystemRPPG
来自恶化视频的非接触性心率测量
摘要 - 转机光绘画学（RPPG）提供了一种最先进的非接触式方法，用于通过分析面部视频来估算人类脉搏。尽管具有潜力，但RPPG方法仍可能会受到各种伪影的影响，例如噪声，倾斜度和其他由太阳镜，口罩甚至非自愿面部接触引起的障碍物，例如个人无意间接触脸。在这项研究中，我们将图像处理转换应用于有意降低视频质量，模仿这些具有挑战性的条件，并随后评估非学习和基于学习的RPPG方法在衰落的数据上的表现。我们的结果表明，在存在这些人工制品的情况下，准确性显着降低，促使我们提出了恢复技术的应用，例如denois和inpainting，以改善心率的估计结果。通过解决这些具有挑战性的条件和遮挡伪像，我们的方法旨在使RPPG方法更加健壮，适合现实情况。为了评估我们提出的方法的有效性，我们对三个公开可用的数据集进行了全面的实验，其中包括各种场景和人工制品类型。我们的发现强调了通过采用最佳恢复算法和RPPG技术的最佳组合来构建强大的RPPG系统的潜力。此外，我们的研究为注重隐私意识的RPPG方法的发展做出了贡献，从而在现实和多样化的条件下加强了这项创新技术在远程心率估计领域的总体实用性和影响。索引术语 - 记录光摄影学，图像变速器，插入，远程医疗
ALPINE：利用对比学习改进远程心率估计
心率 (HR) 是人体健康的重要生理指标，可用于检测心血管疾病。传统的 HR 估计方法，例如心电图 (ECG) 和光电容积描记器，需要皮肤接触。由于皮肤接触会增加病毒感染的风险，在正在发生的 COVID-19 大流行中避免使用这些方法。或者，可以使用非接触式 HR 估计技术，即远程光电容积描记器 (rPPG)，其中 HR 是根据人的面部视频估计的。不幸的是，现有的 rPPG 方法在面部变形的情况下表现不佳。最近，用于 rPPG 的深度学习网络激增。然而，这些网络需要大规模标记数据才能更好地泛化。为了缓解这些缺点，我们提出了一种方法 ALPINE，即一种新的 L r P PG 技术，用于使用对比学习来改进远程心率估计。 ALPINE 在训练过程中利用对比学习框架来解决标记数据有限的问题，并在数据样本中引入多样性以实现更好的网络泛化。此外，我们引入了一种新颖的混合损失，包括对比损失、信噪比 (SNR) 损失和数据保真度损失。我们的新颖对比损失最大化了来自不同面部区域的 rPPG 信息之间的相似性，从而最大限度地减少了局部噪声的影响。SNR 损失提高了时间信号的质量，数据保真度损失确保提取正确的 rPPG 信号。我们在公开数据集上进行的大量实验表明，所提出的方法 ALPINE 优于以前众所周知的 rPPG 方法。
面部视频的强大心率可变性测量
摘要：远程光绘画学（RPPG）是一种非接触式方法，可以从面部视频中检测各种生理信号。RPPG利用数码相机来检测肤色的细微变化，以测量与自主神经系统相关的重要生物标志物等生命体征，例如心率变异性（HRV）。本文基于小波散射变换技术，提出了一种新型的非接触式HRV提取算法WaveRV，然后进行自适应带通滤波和伴侣间间隔（IBI）分析。此外，引入了一种新颖的方法，用于基于接触的PPG信号。waveHRV是针对现有算法和公共数据集的。我们的结果表明，WaveHRV是有希望的，并且在UBFCRPPG数据集上，RMSSD和SDNN的最低平均绝对误差（MAE）为10.5 ms和6.15 ms。
使用 Binah.ai 的实时远程生命体征监测解决方案抗击 COVID-19 的传播
Binah.ai 的解决方案采用了独特的信号处理和 AI 技术组合，并结合了专有的数学后端来分析从面部上颊皮肤区域拍摄的视频（不需要眼睛的视频）。它可以在 10 秒到 2 分钟内提取生命体征，具有医疗级精度。它应用运动补偿和照明标准化，并支持任何年龄、性别和肤色。生命体征提取基于使用独特、卓越方法的远程光电容积描记法 (rPPG) 信号。Binah.ai 的压力水平测量基于 Baevsky 和美国/欧洲指数水平测量（全球认可）。每个用例都依赖于同行评审的医学研究，并基于使用视频源实时检索连续、准确的 rPPG 测量的能力。
Qijia Shao –
2023 年夏季研究实习生，三星美国研究中心，山景城 导师：Li Zhu 博士和 Jilong Kuang 博士 - 领导了一个关于减轻基于 rPPG 的 SpO2 估计的跨用户性能变化的项目。 - 获得三星 A1 专利。 - 提出的方法正在部署到三星产品（手机和电视）。 - 发表了 ICASSP'24 论文。 2022 年夏季研究实习生，Snap Research，纽约 导师：Jian Wang 博士和 Shree Nayar 博士 - 领导了一个关于减少 AR/VR 的运动到光子延迟的项目。 - 提出的技术是 Snapchat App 的路线图。 - 发表了 N-euro Predictor 论文（UbiComp'23）。 2021 年夏季研究实习生，Signify（飞利浦研究中心），远程导师：Jin Yu 博士 - 领导一个传感器数据处理项目。 - 构建了一个可扩展且强大的概率模型并实施了整个流程。 - 系统性能提升19%，并申请专利。
CL-SPO2NET：基于非接触视频的SPO2估计的对比度学习时空注意网络
摘要：基于视频的外围氧饱和度（SPO2）估计，仅利用RGB摄像机，提供了一种非接触式方法来测量血氧水平。先前的研究将稳定且不变的环境设定为非接触式血氧估计的前提。此外，他们还利用了少量标记的数据进行系统培训和学习。但是，使用小数据集训练最佳模型参数是一项挑战。血氧检测的准确性很容易受到环境光和受试者运动的影响。为了解决这些问题，本文提出了一个对比度学习时空注意网络（CL-SPO2NET），这是一个用于基于视频的SPO2估计的创新的半监督网络。在包含面部或手部区域的视频段中发现了远程光绘画（RPPG）信号中的时空相似性。随后，将深层神经网络与机器学习专业知识相结合，从而估算了SPO2。在小规模标记的数据集的情况下，该方法具有良好的可行性，在稳定的环境中，摄像机和参考脉冲血氧仪之间的平均绝对误差为0.85％，在面部旋转情况下具有1.13％的照明频率为1.13％。
FDA 批准全球首款非接触式脉搏率测量移动应用程序
• PanopticAI 的技术将智能手机和平板电脑变成医疗级生命体征监测仪。 • 这是这家总部位于香港的初创公司实现确保可及性和可扩展性医疗保健使命的重要里程碑。 • 这项基于人工智能的技术用途广泛，包括远程医疗、远程患者监测、社区健康筛查、分散临床试验和个人健康。 • PanopticAI 的早期采用者包括香港鹰阁医院（IHH Healthcare 旗下医院）、万宁（香港领先的保健和美容连锁店）和保柏（跨国健康保险公司）。 (香港，2025 年 1 月 26 日) - 远程患者监测领域的领先创新者 PanopticAI 今天宣布，其非接触式生命体征监测软件已获得美国食品药品监督管理局 (FDA) 的 510(k) 批准。PanopticAI Vital Signs 应用程序是首个获得 FDA 批准的移动应用程序，可使用 iPhone 和 iPad 的内置摄像头进行非接触式脉搏率测量。这也使 PanopticAI 成为第一家获得 FDA 批准的软件即医疗器械 (SaMD) 的香港公司。PanopticAI 的技术利用专有的远程光电容积描记法 (rPPG) 算法，将随处可见的智能手机和平板电脑转变为医疗级生命体征监测仪。先进的人工智能和信号处理技术用于分析设备摄像头捕捉到的皮肤细微颜色变化，在短短 30 秒内准确测量脉搏率等生命体征。此次 FDA 批准代表着 PanopticAI 让医疗保健更易于获得和可扩展的使命的一个重要里程碑。通过利用智能手机的普及，PanopticAI 的技术消除了对专用设备的需求，大大降低了成本，并扩大了更广泛人群获得生命体征监测的机会。该公司的非接触式生命体征监测技术已被医院、保险公司和药房使用。其客户包括香港鹰阁医院（全球最大的医疗服务提供商之一 IHH Healthcare 旗下子公司）、万宁（香港领先的健康美容连锁店）和保柏（跨国健康保险公司）。临床测试针对反映美国人口普查数据的多样化患者群体进行，以确保 PanopticAI Vital Signs 应用程序在广泛用户中的准确性和可靠性。严格的非临床测试评估了该应用程序在各种条件下的性能，包括不同的照明、距离和用户特征，以确保在现实环境中可靠运行。PanopticAI Vital Signs 应用程序还经过了严格的网络安全和人为因素测试，以确保患者安全和易用性。“我们很高兴我们的技术获得 FDA 批准，这证明了我们致力于开发临床上合理、可访问的健康解决方案的承诺，”PanopticAI Vital Signs 首席执行官兼联合创始人 Kyle Wong 博士表示。