XiaoMi-AI文件搜索系统
World File Search System视频
视频：辅助喂养机器人在实验室外进行测试
在两项研究中，用户都成功地养活了自己的饭菜。在第一项研究中，机器人获得了约80％精度的主菜，另一项研究中的用户发现这是成功的阈值。在第二次研究中，房屋的各种环境和环境（Ko）可能在低光或在床上工作时在饮食中吃饭 - 使系统的默认功能保持不变。但研究人员将该系统设计为可定制的，因此KO能够控制机器人并仍然为自己喂食所有餐点。
与计算机视觉传感的语义通信用于边缘视频传输
摘要 - 尽管在边缘应用中广泛采用了视力传感器，例如监视，视频数据的传输会消耗大量频谱资源。Semantic Communication（SC）通过在语义层面提取和压缩信息，提供传输数据的准确性和相关性，同时大大减少传输信息的量，从而提供了解决方案。但是，由于缺乏感应能力，传统的SC方法由于在边缘视频中反复传输静态帧而面临效率低下，这会导致频谱效率低下。为了应对这一挑战，我们建议使用计算机视觉传感（SCCV）框架进行EDGE视频传输的SC。框架首先引入了压缩比（CR）自适应SC（CRSC）模型，能够根据帧是静态还是动态的，能够调整CR，并有效地保存光谱资源。此外，我们实施了一个对象检测和语义分割模型启用的传感（OSMS）方案，该方案可以智能地感知场景中的变化并通过封闭式分析评估每个帧的重要性。因此，OSMS方案根据实时感应结果为CRSC模型提供CR提示。此外，CRSC和OSM都设计为轻量级型号，可确保与实用边缘应用中常用的资源受限传感器的兼容性。实验模拟验证了所提出的SCCVS框架的有效性，证明了其提高传输效率的能力而无需牺牲关键的语义信息。
gen3c：3D了解世界一致的视频生成...
在许多应用程序中，我们需要生成一个序列长度比原始视频模型支持的长度更长的视频。为了实现这一目标，我们首先将长视频分为长度L的重叠块，在连续的块之间具有一个框架重叠，并以自动回归方式顺序生成每个块的框架。具体来说，对于第一个块，我们遵循Sec中描述的推理管道。主纸的4.5预测RGB视频。 然后，我们从第一个块预测中使用框架更新3D缓存，该预测捕获了场景的新观点，并提供了原始3D缓存中不存在的其他信息。 要更新3D缓存，我们使用DAV2 [10]估算了第一个块中最后一个帧的像素深度，并通过最大程度地减少再投影误差来使该深度估计与3D缓存对齐。 具体来说，我们将深度估计表示为d，并优化d的缩放率和翻译T系数。 我们将点云从3D缓存渲染到d的摄像机视图处的深度图像。 我们将点云从3D缓存从D的摄像机视图中从D的摄像机视图（表示为D TGT）渲染到深度图像，并且类似于主纸，呈现一个掩码m，指示每个像素是否被3D缓存覆盖。 然后将优化目标定义为：主纸的4.5预测RGB视频。然后，我们从第一个块预测中使用框架更新3D缓存，该预测捕获了场景的新观点，并提供了原始3D缓存中不存在的其他信息。要更新3D缓存，我们使用DAV2 [10]估算了第一个块中最后一个帧的像素深度，并通过最大程度地减少再投影误差来使该深度估计与3D缓存对齐。具体来说，我们将深度估计表示为d，并优化d的缩放率和翻译T系数。我们将点云从3D缓存渲染到d的摄像机视图处的深度图像。我们将点云从3D缓存从D的摄像机视图中从D的摄像机视图（表示为D TGT）渲染到深度图像，并且类似于主纸，呈现一个掩码m，指示每个像素是否被3D缓存覆盖。然后将优化目标定义为：
gen3c：3D了解世界一致的视频生成...
我们提出了G en 3c，这是一种具有精确的C amera c onTrol和暂时3D C的生成视频模型。先前的视频模型已经生成了现实的视频，但是它们倾向于利用少量3D信息，导致不一致的情况，例如弹出和不存在的对象。相机控制（如果完全实现）是不精确的，因为相机参数仅是对神经网络的输入，然后必须推断视频依赖相机。相比之下，G en 3c由3D缓存：通过预测种子图像的像素深度或先前生成的框架获得的点云。生成下一个帧时，G en 3c由用户提供的新摄像头轨迹在3D缓存的2D渲染上进行条件。至关重要的是，这意味着G en 3c都不必须记住它的预期
手术视频中的精细粒度多级多级跟踪
准确的工具跟踪对于计算机辅助干预的成功至关重要。以前的努力通常会严格地对工具轨迹进行建模，从而俯瞰外科手术程序的动态性质，尤其是跟踪诸如身体外和相机外视图之类的场景。在解决此限制时，新的CholectRack20数据集提供了详细的标签，以三个角度说明多个工具轨迹：（1）术中，（2）体内和（3）可见性，代表不同类型的工具轨迹时间。这些细粒标签可增强跟踪灵活性，但也提高了任务复杂性。由于高视觉相似性，尤其是在同一类别的工具中，遮挡或重新插入身体后的工具仍然具有挑战性。这项工作认识到工具操作员在区分工具轨道实例中的关键作用，尤其是属于同一工具类别的工具轨道实例。但是，在手术视频中未明确捕获操作员的信息。因此，我们提出了Surgitrack，这是一种利用Yolov7进行精确工具检测的新型深度学习方法，并采用了注意机制来对工具的起源方向进行建模，作为其操作员的代理，以重新识别工具。为了处理各种工具轨迹的观点，Surgitrack采用了协调的两分匹配图，最大程度地减少冲突并确保准确的工具身份关联。cholectrack20的实验结果证明了外科手术的有效性，优于实时推理能力的最先进方法和最先进的方法。这项工作为手术工具跟踪设定了新的标准，为在微创手术中提供了更适合适应性和精确的帮助。
基于导航雷达回波视频数据的占据栅格地图构建方法
摘 要 : ［ 目的 ］ 为解决无人艇的船载导航雷达对养殖区 、 浮筒 、 小型漂浮物等海洋漂浮障碍物感知效果不 佳的问题 ， 提出一种基于导航雷达回波视频数据构建与更新的占据栅格地图的环境感知方法。 ［ 方法 ］ 首 先 ， 采用多级集合的形式描述雷达点迹与回波点间的包含关系 ， 为栅格地图构建奠定基础 ， 期间 ， 基于群相邻 关系对近邻点迹进行凝聚 ， 抑制目标分裂导致的航迹偏差 ； 然后 ， 利用所提的基于自然对数函数的占据栅格 地图概率更新算法 ， 通过合理利用历史数据区分海杂波与微小海洋漂浮障碍物 ； 最后 ， 建立基于点迹属性的 栅格地图概率扩散模型 ， 以较好地保证典型动态目标占据栅格更新的实时性。 ［ 结果 ］ 实船试验结果表明 ， 所提方法可准确获取养殖区 、 浮筒等成片海洋漂浮障碍物的轮廓信息 ， 抑制目标分裂现象 ； 与经典方法相比 ， 所提方法对干舷 0.5 m 的小型漂浮物首次发现距离提升了 78.34 m ， 定位精度提升了 1.42 m 。 ［ 结论 ］ 所提方 法能够实现对多种海洋漂浮障碍物 、 海面运动目标的准确感知 ， 确保无人艇航行安全。
svg：3D立体视频生成...
视频生成模型已经证明了产生令人难以置信的单眼视频的功能，但是，3D立体视频的产生仍然不足。我们提出了一种使用现成的单眼视频生成模型的无姿势和无训练方法，用于发电3D立体视频。我们的方法使用估计的视频深度将生成的单眼视频扭曲到立体基线的相机视图中，并采用了一种新型的框架矩阵视频介绍框架。该框架利用视频代理模型来从不同的时间戳和视图中观察到的框架。这种有效的方法会产生一致且具有语义相干的立体视频，而无需场景优化或模型调整。此外，我们开发了一个不合格的边界重新注射方案，该方案通过减轻潜在空间中分离的区域传播的负面影响进一步提高视频介绍的质量。我们通过对包括Sora（Brooks等，2024），Lumiere（Bar-Tal等，2024），Walt（Gupta等，2023）和Zeroscope（Wang等人（Wang et al。，2023A）的视频进行实验来验证我们提出的方法的效率。实验表明我们的方法比以前的方法具有显着改善。项目页面https://daipengwa.github.io/svg_projectpage/
Caixabank本月在所有分支机构上成功推出了其手语语言视频互动服务
Caixabank社会行动促进了社会计划，活动和运动，其中一些与La Caixa基金会合作。使用西班牙最大的分支网络，Caixabank可以有效地识别和满足本地需求，从而提供密切的支持。此外，它还有助于La Caixa基金会向社会实体指导财政援助。由于其在全国范围内的存在，其分支网络（西班牙最大的分支网络）可以检测到当地的需求和近距离的帮助，并支持La Caixa基金会向社会实体传达经济援助。此外，通过财务活动，银行为所有类型的人提供服务和解决方案。
视觉 - 文本交叉模式融合，用于准确的视频字幕
摘要在本文中，我们介绍了基于视觉和文本数据的跨模式融合的新型端到端多模式字幕字幕框架。所提出的方法集成了模态意见模块，该模块使用互相关捕获视觉文本间模型的关系。此外，我们将时间关注集成到3D CNN获得的功能中，以使用面向任务的培训来学习视频中的上下文信息。此外，我们结合了一项辅助任务，该任务采用对比损失函数来增强模型的概括能力并促进对模式间关系和潜在语义的更深入的理解。任务涉及将视频转录的多模式代表与标题表示形式进行比较，从而促进了模型中改善的性能和知识转移。最后，变压器架构用于使用注意机制有效捕获和编码文本和视频信息之间的相互依赖性。在解码阶段，变压器允许模型在编码功能中关注相关元素，有效地捕获了长距离依赖性，并最终生成具有语义意义的字幕。在MSRVTT基准测试上进行的实验评估验证了提出的方法，该方法的实验方法分别达到了BLEU4，Rouge和流星得分分别为0.4408、0.6291和0.3082。与最先进的方法相比，所提出的方法显示出卓越的性能，在所考虑的三个指标中，性能的增长范围从1.21％到1.52％。