XiaoMi-AI文件搜索系统
World File Search SystemVid
Skip-Plan：通过精简动作空间学习在教学视频中进行程序规划
在本文中，我们提出了 Skip-Plan，一种用于教学视频中程序规划的压缩动作空间学习方法。当前的程序规划方法都遵循每个时间步的状态-动作对预测并相邻地生成动作。虽然它符合人类的直觉，但这种方法始终难以应对高维状态监督和动作序列的错误积累。在这项工作中，我们将程序规划问题抽象为数学链模型。通过跳过动作链中不确定的节点和边，我们以两种方式将长而复杂的序列函数转换为短而可靠的序列函数。首先，我们跳过所有中间状态监督，只关注动作预测。其次，我们通过跳过不可靠的中间动作将相对较长的链分解为多个短的子链。通过这种方式，我们的模型在压缩动作空间中探索动作序列内各种可靠的子关系。大量实验表明，Skip-Plan 在程序规划的 CrossTask 和 COIN 基准测试中实现了最先进的性能。
单眼视频的动态头部重建
我们提出了来自单眼RGB视频的动态3D头部重建的单眼神经参数头模型（Mono NPHM）。到此为止，我们提出了一个潜在的空间空间，该空间在神经参数模型的顶部参数化纹理场。我们限制了预测的颜色阀与基础几何形状相关，以便RGB的梯度有效地影响反向渲染过程中的潜在几何代码。为了提高表达空间的代表能力，我们使用超二维增强了向后变形场，从而在拓扑具有挑战性的表达式中显示出颜色和几何表示。使用Mono NPHM作为先验，我们使用基于符号距离字段的体积渲染来处理3D头重建的任务。通过nu毫无反转，我们使用面部锚点构成了具有里程碑意义的损失，这些损失与我们的规范几何表示紧密相关。为了评估单眼RGB视频的动态面部重建任务，我们在休闲条件下记录了20个具有挑战性的Kinect序列。单nphm超过 -
视频的自我监督和自适应的面部聚类
1。一种自我监督的模型登录方法，仅取决于正面匹配对以改善面部嵌入。2。面部聚类的基于深度学习的相似性度量，该指标会自动适应给定模型的学习嵌入空间。3。不需要任何用户输入参数的全自动视频面聚类算法。4。发布电影脸聚类基准数据集，称为MoviefaceCluster，该数据集提供了电影域中存在的极端挑战的面部聚类场景。
通过脑电图和Vidinexus的互动屏幕来改善博物馆访问者的参与度和经验
摘要这项研究的主要目的是通过开发包括脑部计算机界面（BCI）和客户端Vidinexus的互动屏幕在内的原型来探索以改善博物馆访问者的体验和参与的选项。这是通过遵循重点关注研究的三个不同方面的方法来完成的；博物馆和艺术，BCI和原型。前两个方面是背景文献研究的重点。这些发现用于指导原型开发的创作过程。系统的原型，包括交互式测验，它根据由EEG设备测量的选择和参与水平与访问者相匹配。该原型是在研究的构想，规范和实现阶段创建的；并在评估阶段进行了测试。
mulde：多尺度对数密度密度通过视频异常检测的DeNoSINGING估算
我们提出了一种新颖的视频异常检测方法：我们将从视频中提取的特征向量视为具有固定分布的随机变量的重新释放，并用神经网络对此分布进行建模。这使我们能够通过阈值估计估计测试视频的可能性并检测视频异常。我们使用DE-NONISE分数匹配的修改来训练视频异常检测器，该方法将训练数据注射噪声以促进建模其分布。为了消除液体高参数的选择，我们对噪声噪声级别的噪声特征的分布进行了建模，并引入了常规化器，该定期用器倾向于将模型与不同级别的噪声保持一致。在测试时，我们将多个噪声尺度的异常指示与高斯混合模型相结合。运行我们的视频异常检测器会引起最小的延迟，因为推理需要仅提取特征并通过浅神经网络和高斯混合模型将其前向传播。我们在五个流行的视频异常检测台上的典范表明了以对象为中心和以框架为中心的设置中的最先进的性能。
ma-lmm：长期视频理解的内存大型多模型
随着大型语言模型（LLM）的成功，将视觉模型融入了LLM，以建立视觉语言基础模型最近引起了人们的兴趣。但是，现有的基于LLM的大型多模式模型（例如，视频播放，视频聊天）只能摄入有限数量的框架以进行简短的视频理解。在这项研究中，我们主要专注于设计一个有效有效的模型，以进行长期视频理解。我们建议以在线方式处理视频并将过去的视频信息存储在存储库中，而不是像大多数现有作品一样尝试同时进行更多框架。这使我们的模型可以参考历史视频内容以进行长期分析，而不会超过LLM的上下文长度约束或GPU内存限制。我们的内存库可以以现成的方式被缝制到当前的多模式LLMS中。我们在各种视频理解任务上进行了广泛的实验，例如长期介绍，视频问题答案和视频字幕，我们的模型可以在多个数据集中实现最新的性能。
基于视频的情感并影响上下文数据集中的跟踪
人类情感识别一直是心理物理学和计算机视觉的重要主题。但是，经常发布的数据集有许多局限性。进行检查，大多数数据集都包含仅包含有关面部表情的信息的框架。由于以前的数据集的局限性，很难理解影响人类识别的机制，或者在这些数据集中训练的计算机视觉模型上对人类的识别良好。在这项工作中，我们介绍了一个全新的大型数据集，基于视频的情感并影响上下文数据集（VEATIC）中的跟踪，可以征服先前数据集的限制。Veatic在好莱坞电影，纪录片和家庭视频中有124个视频片段，并通过实时注释进行了连续的价和唤醒评级。与数据集一起，我们采用了一项新的计算机视觉任务，以通过每个视频框架中的上下文和字符信息来推断所选字符的影响。此外，我们提出了一个简单的模型来基准这项新的计算机视觉任务。我们还使用数据集与其他类似数据集进行了预处理模型的性能。实验显示了通过VEATIC验证的模型的竞争结果，表明VEATIC的普遍性。我们的数据集可从https://veatic.github.io获得。
Deep Video Compression的任务意识编码器控制
对机器任务的深视频压缩（DVC）的事先研究通常需要为每个特定任务培训一个独特的编解码器，从而规定每个任务的专用解码器。相比之下，传统视频编解码器采用了flex ible编码器控制器，从而通过模式预测等机制使Single编解码器适应了不同的任务。从中汲取灵感，我们引入了一个创新的编码器控制器，以用于机器的深度视频压缩。此控制器具有模式预测和一组图片（GOP）选择模块。我们的AP-ARACH在编码阶段集中控制控制，从而允许跨不同任务（例如检测和跟踪）进行适应性的编码器调整，同时与标准的预训练的DVC解码器保持合理性。示例证明我们的方法是在具有各种现有预训练的DVC的多个任务中适用的。此外，广泛的实验表明，对于不同的任务，我们的方法比以前的DVC比以前的DVC大约25％，只有一个预先训练的解码器。
带有扩散模型的视频插值-CVF Open Access
我们提出了Vidim，这是一个视频间隔的生成模型，该模型在启动和最终框架下创建了简短的视频。为了实现高保真度并在输入数据中产生了看不见的信息，Vidim使用级联的分化模型首先以低分辨率生成目标视频，然后在低分辨率生成的视频上生成高分辨率视频。我们将视频插补的先前最新方法归纳为先前的最新方法，并在大多数设置中演示了这种作品如何在基础运动是复杂，非线性或模棱两可的情况下失败，而Vidim可以轻松处理此类情况。我们还展示了如何在开始和最终框架上进行无分类器指导，并在原始高分辨率框架上调节超级分辨率模型，而没有其他参数可以解锁高保真性结果。vidim可以从共同降低所有要生成的框架，每个扩散模型都需要少于十亿个pa-rameters来产生引人注目的结果，并且仍然可以在较大的参数计数下享有可扩展性和提高质量。请在vidim- Interpolation.github.io上查看我们的项目页面。
3D多帧融合视频稳定
在本文中，我们提出了RSTAB，这是视频稳定框架的新型框架，该框架通过音量渲染整合了3D多帧融合。与传统方法背道而驰，我们引入了一个3D多框架透视图，以进行稳定的图像，从而解决了全框架生成的挑战，同时保存结构。我们的RSTAB框架的核心在于S Tabilized R Endering（SR），该卷渲染模块，在3D空间中融合了多帧信息。具体来说，SR涉及通过投影从多个帧中旋转的特征和颜色，将它们融合到描述符中以呈现稳定的图像。然而，扭曲的信息的精度取决于降低的准确性，这是受染色体区域显着影响的因素。为了响应，我们介绍了a daptive r ay r ange（arr）模块以整合深度先验，并自适应地定义了投影过程的采样范围。在方面上，我们提出了以光流的光流限制的限制，以进行精确的颜色，以实现精确的颜色。多亏了这三个模块，我们的rstab示例表现出了卓越的性能，与以前的视野（FOV），图像质量和视频稳定性相比，各种数据集的稳定器相比。