XiaoMi-AI文件搜索系统
World File Search SystemVide
视频内容分类 .docx
近年来，由于存储容量的增加、网络架构的改进以及数码相机（尤其是手机）的普及，视频在许多应用中变得越来越流行。如今，人们可以通过电视和互联网观看大量视频。观众可以选择的视频数量如此之多，以至于人类不可能从所有视频中找出感兴趣的视频。观众用来缩小选择范围的一种方法是寻找特定类别或类型的视频。由于需要分类的视频数量巨大，因此人们已经开始研究自动对视频进行分类、视频分类和分析。因此，有必要有一个系统来为某个视频或不同的视频生成相关标签
学习空间和时间中的自相似性作为视频动作识别的广义运动
时空卷积通常无法学习视频中的运动动态，因此需要一种有效的运动表示来理解自然界中的视频。在本文中，我们提出了一种基于时空自相似性（STSS）的丰富而鲁棒的运动表示。给定一系列帧，STSS 将每个局部区域表示为与空间和时间中邻居的相似性。通过将外观特征转换为关系值，它使学习者能够更好地识别空间和时间中的结构模式。我们利用整个 STSS，让我们的模型学习从中提取有效的运动表示。我们所提出的神经块称为 SELFY，可以轻松插入神经架构中并进行端到端训练，无需额外监督。通过在空间和时间上具有足够的邻域体积，它可以有效捕捉视频中的长期交互和快速运动，从而实现鲁棒的动作识别。我们的实验分析表明，该方法优于以前的运动建模方法，并且与直接卷积的时空特征互补。在标准动作识别基准 Something-Something-V1 & V2、Diving-48 和 FineGym 上，该方法取得了最佳效果。
视频 + AI 解决方案可自动捕获外周水肿数据，无需患者遵守
简介：慢性心力衰竭导致许多患者住院，尤其是那些年老且不遵守治疗 1 的患者。这种住院通常可以通过前几周体重增加 2 和外周水肿增加来预测。对于不遵守每日体重记录的患者，我们假设从零依从性全自动远程监控解决方案中收集可靠的数据以评估外周水肿将减少住院并改善护理。
Skip-Plan：通过精简动作空间学习在教学视频中进行程序规划
在本文中，我们提出了 Skip-Plan，一种用于教学视频中程序规划的压缩动作空间学习方法。当前的程序规划方法都遵循每个时间步的状态-动作对预测并相邻地生成动作。虽然它符合人类的直觉，但这种方法始终难以应对高维状态监督和动作序列的错误积累。在这项工作中，我们将程序规划问题抽象为数学链模型。通过跳过动作链中不确定的节点和边，我们以两种方式将长而复杂的序列函数转换为短而可靠的序列函数。首先，我们跳过所有中间状态监督，只关注动作预测。其次，我们通过跳过不可靠的中间动作将相对较长的链分解为多个短的子链。通过这种方式，我们的模型在压缩动作空间中探索动作序列内各种可靠的子关系。大量实验表明，Skip-Plan 在程序规划的 CrossTask 和 COIN 基准测试中实现了最先进的性能。
具有扩散模型的生成文本视频检索
现有的文本视频检索解决方案本质上是侧重于最大程度地提高条件可能性的模型，即P（候选人|查询）。虽然很简单，但这种事实上的范式却忽略了基本的数据分布p（查询），这使得识别出分布数据的挑战。为了解决这一限制，我们从生成观点创造性地解决了此任务，并将文本和视频之间的相关性建模为其关节概率P（候选人，查询）。这是通过基于扩散的文本视频检索框架（扩散-RET）来完成的，该框架将检索任务建模为从噪声中产生关节分布的过程。在训练过程中，从发电和犯罪的角度优化了Diffusionret，其发电机通过生成损失优化，并且具有对比度损失的训练的特征提取器。以这种方式，diffusionret巧妙地杠杆化了生成和歧视方法的优势。在五个常用的文本检索基准测试中进行了广泛的实验，包括MSRVTT，LSMDC，MSVD，ActivityNet字幕和DIDEMO，并具有出色的性能，证明了我们方法的效果。更加谨慎，没有任何修改，diffusionret甚至在外域检索设置中表现良好。我们认为这项工作带来了对相关领域的基本见解。代码可从https://github.com/jpthu17/diffusionret获得。
单眼视频的动态头部重建
我们提出了来自单眼RGB视频的动态3D头部重建的单眼神经参数头模型（Mono NPHM）。到此为止，我们提出了一个潜在的空间空间，该空间在神经参数模型的顶部参数化纹理场。我们限制了预测的颜色阀与基础几何形状相关，以便RGB的梯度有效地影响反向渲染过程中的潜在几何代码。为了提高表达空间的代表能力，我们使用超二维增强了向后变形场，从而在拓扑具有挑战性的表达式中显示出颜色和几何表示。使用Mono NPHM作为先验，我们使用基于符号距离字段的体积渲染来处理3D头重建的任务。通过nu毫无反转，我们使用面部锚点构成了具有里程碑意义的损失，这些损失与我们的规范几何表示紧密相关。为了评估单眼RGB视频的动态面部重建任务，我们在休闲条件下记录了20个具有挑战性的Kinect序列。单nphm超过 -
用于雾计算的视频分析数据缩减模型
IEEE 是一个非盈利组织，是世界上最大的专业技术组织，致力于推动技术进步，造福人类。© 版权所有 2023 IEEE - 保留所有权利。使用本网站即表示您同意条款和条件。
mulde：多尺度对数密度密度通过视频异常检测的DeNoSINGING估算
我们提出了一种新颖的视频异常检测方法：我们将从视频中提取的特征向量视为具有固定分布的随机变量的重新释放，并用神经网络对此分布进行建模。这使我们能够通过阈值估计估计测试视频的可能性并检测视频异常。我们使用DE-NONISE分数匹配的修改来训练视频异常检测器，该方法将训练数据注射噪声以促进建模其分布。为了消除液体高参数的选择，我们对噪声噪声级别的噪声特征的分布进行了建模，并引入了常规化器，该定期用器倾向于将模型与不同级别的噪声保持一致。在测试时，我们将多个噪声尺度的异常指示与高斯混合模型相结合。运行我们的视频异常检测器会引起最小的延迟，因为推理需要仅提取特征并通过浅神经网络和高斯混合模型将其前向传播。我们在五个流行的视频异常检测台上的典范表明了以对象为中心和以框架为中心的设置中的最先进的性能。
带有扩散模型的视频插值-CVF Open Access
我们提出了Vidim，这是一个视频间隔的生成模型，该模型在启动和最终框架下创建了简短的视频。为了实现高保真度并在输入数据中产生了看不见的信息，Vidim使用级联的分化模型首先以低分辨率生成目标视频，然后在低分辨率生成的视频上生成高分辨率视频。我们将视频插补的先前最新方法归纳为先前的最新方法，并在大多数设置中演示了这种作品如何在基础运动是复杂，非线性或模棱两可的情况下失败，而Vidim可以轻松处理此类情况。我们还展示了如何在开始和最终框架上进行无分类器指导，并在原始高分辨率框架上调节超级分辨率模型，而没有其他参数可以解锁高保真性结果。vidim可以从共同降低所有要生成的框架，每个扩散模型都需要少于十亿个pa-rameters来产生引人注目的结果，并且仍然可以在较大的参数计数下享有可扩展性和提高质量。请在vidim- Interpolation.github.io上查看我们的项目页面。
ma-lmm：长期视频理解的内存大型多模型
随着大型语言模型（LLM）的成功，将视觉模型融入了LLM，以建立视觉语言基础模型最近引起了人们的兴趣。但是，现有的基于LLM的大型多模式模型（例如，视频播放，视频聊天）只能摄入有限数量的框架以进行简短的视频理解。在这项研究中，我们主要专注于设计一个有效有效的模型，以进行长期视频理解。我们建议以在线方式处理视频并将过去的视频信息存储在存储库中，而不是像大多数现有作品一样尝试同时进行更多框架。这使我们的模型可以参考历史视频内容以进行长期分析，而不会超过LLM的上下文长度约束或GPU内存限制。我们的内存库可以以现成的方式被缝制到当前的多模式LLMS中。我们在各种视频理解任务上进行了广泛的实验，例如长期介绍，视频问题答案和视频字幕，我们的模型可以在多个数据集中实现最新的性能。