XiaoMi-AI文件搜索系统
World File Search System视频数据
利用人工智能大规模确保工人安全
• 与现场已安装的标准 CCTV 摄像系统接口 • 使用 AI 技术根据用例捕获视觉证据 • 从视频数据进行 AI 推理和边缘流分析 • 安全的本地部署 • 易于从一个站点扩展到多个站点 • 硬件投资最少 • 不需要对基础设施进行额外的更改 • 不需要工人佩戴带有传感器的设备
从大规模和多样的视频中学到的通用世界模型
世界模型通过在环境中提供代理商的预测性表示，并使代理商能够推理未来并做出更明智的决定，从而在基于模型的增强学习（RL）中起着至关重要的作用。但是，仍然存在两个主要问题，限制了世界模型的应用。首先，当前方法通常仅使用特定于域的数据来训练世界模型，这使得概括地看不见的情况或适应环境中的变化具有挑战性。第二，在使用野生视频中训练世界模型时，很难定义动作。在这项工作中，我们通过从不同规模和大型现实世界的视频数据集中学习通用世界模型来解决这两个问题，并提取了潜在的动作。具体来说，我们的方法利用预先训练的视觉编码器将两个相邻帧的图像投射到状态中；然后，根据向量量化，将潜在作用提取到低维空间中；最后，使用潜在动作学习了动态功能。结果表明，在野外视频数据集中测试时，提出的通用世界模型可以成功提取任意相邻帧的潜在动作。此外，在适应看不见的环境时，仅对少量域内数据进行微调可以显着提高通用世界模型的准确性。
实习生职位发布2024
● Engineering various sensor interfaces on a robot ● Using Linux, ROS, Python, C/C++, OpenCL, OpenGL, GStreamer, OpenCV or similar ● Using deep learning AI frameworks for both training and inference, including TensorFlow, PyTorch and OpenVINO ● User Interface Development Tools such as QT, Websockets, and JavaScript ● Developing algorithms for robots或在真实或模拟环境中的无人机●通过现场数据收集和迭代来验证和改进设计●机器学习工作流程涉及擦洗，组织和注释图像和视频数据
phanaki：可变长度视频生成
我们提出了一个能够实现现实视频综合的模型，给定一系列文本提示。由于计算成本，数量有限的高质量文本视频数据和视频长度的变化，因此从文本中生成视频尤其具有挑战性。为了解决这些问题，我们介绍了一种新的模型，以学习视频表示，该模型将视频压缩为一小部分离散令牌。这个令牌仪会及时使用因果关注，这使其可以与可变长度视频一起使用。为了从文本生成视频令牌，我们使用的是在预先计算的文本令牌上进行的双向蒙版变压器。随后对生成的视频令牌进行了解密以创建实际的视频。为了解决数据问题，我们演示了大量图像文本对的联合培训以及少量的视频文本示例如何导致概括超出视频数据集中的可用内容。与以前的视频生成方法相比，Phanaki可以生成以一系列提示为条件的任意长视频（即时间变量文本或故事）在开放域中。据我们所知，这是第一次研究从开放域时间变量提示中生成视频的论文。此外，与每个框架基线相结合，所提出的视频编码器计算每个视频的代币较少，但会导致更好的时空一致性。
Rama Krishna Kandukuri -
从RGB-D视频数据中开发了和发表了针对3D刚体跟踪的新型计算机视觉方法，将刚体动态的物理合理建模与随附的视频数据集以及运动捕获地面真相和物理学注释结合在一起。对深度学习技术的研究，用于从RGB图像中估算刚性对象，通过学习物理模型的接触/摩擦约束，基于学习的计划和控制，并从图像中进行无监督的现场物理学学习。
数据科学与心理学，理学学士
数据科学与心理学联合专业提供综合课程，研究思维、大脑和行为，以及收集、处理、存储、检索和计算分析各种形式的数据，包括从小到大的数字、文本、图像和视频数据。心理学研究借鉴对人类和动物的实证研究，调查和寻求个人行为和心理生活的解释，并开发评估工具和治疗方案来解决临床问题。在这个项目中，学生有机会通过大数据分析、数据科学和数据分析技能来增强这些知识。
980系列48G视频分析仪/发电机模块...
•数据分析（音频，视频，数据岛） - 980将捕获所有音频数据包，视频数据和数据岛，时机数据和辅助数据，并将其显示为固定费率链接（FRL）数据包。•固定费率链接（FRL）数据分析 - 980将捕获固定速率链接（FRL）数据，并显示基础的TMDS数据元素。•TMDS数据分析 - 980只会捕获数据岛和视频帧。•协议分析 - 980将捕获TMD和固定速率链接（FRL）协议数据，例如序言和后卫频段数据。
基于深度学习的流程，用于通过连续捕获的立体视频估计不受约束的水下环境中水生生物的数量和大小
摘要：使用固定式水下摄像机是一种现代且适应性强的方法，可提供持续且经济高效的长期解决方案来监测特别感兴趣的水下栖息地。此类监测系统的共同目标是更好地了解各种海洋生物种群的动态和状况，例如迁徙或商业相关鱼类种群。本文介绍了一种完整的处理流程，用于从固定式水下鱼类观测站 (UFO) 的立体摄像机捕获的立体视频数据中自动确定生物种群的丰度、类型和估计大小。记录系统进行了现场校准，然后使用同步记录的声纳数据进行了验证。视频数据在德国北部波罗的海入口基尔峡湾连续记录了近一年。它展示了水下生物的自然行为，因为使用被动低光摄像机代替主动照明来减弱吸引力并实现尽可能少的侵入性记录。记录的原始数据通过自适应背景估计进行预过滤，以提取具有活动的序列，然后由深度检测网络（即 Yolov5）进行处理。这提供了在两个摄像机的每个视频帧中检测到的生物的位置和类型，用于按照基本匹配方案计算立体对应关系。在后续步骤中，使用匹配的边界框的角坐标来近似所描绘生物的大小和距离。本研究中使用的 Yolov5 模型是在一个新颖的数据集上训练的，该数据集包含 10 类海洋动物的 73,144 张图像和 92,899 个边界框注释。该模型实现了 92.4% 的平均检测准确率、94.8% 的平均精度 (mAP) 和 93% 的 F1 得分。
X.med;a.publishing~
多媒体应用和系统越来越成为我们日常生活的一部分——新兴的可以显示图片和视频数据的移动终端、家庭中的 DVD 播放器、可下载的游戏、互联网上的流媒体、万维网上的广播电台——只是其中的几个例子。这些应用程序和系统正在成为我们异构计算和通信环境不可或缺的一部分。在过去十年中，我们经历了多媒体计算、通信和应用（万维网、会议、数字娱乐等）的爆炸式增长。它们不仅提供文本和图像，还提供视频、音频和其他连续媒体。未来，所有计算机和网络都将包含多媒体设备。它们还需要适当的处理和通信支持，以便为相关的多媒体应用提供无缝和无处不在的服务和协议。
DEPITCM：一种检测抑郁症的视听方法
方法：在本文中，我们提出了基于抑郁症检测模型的视觉和音频（DEPITCM）的多任务表示学习。该模型包括三个主要模块：数据预处理模块，Inpection-Permotal-Channel-Channel-Channel主体组件分析模块（ITCM Encoder）和多级学习模块。为了有效地从音频和视频数据中提取丰富的特征表示，ITCM编码器采用了分阶段的特征提取策略，从全球过渡到本地特征。这种方法可以捕获全局特征，同时在详细信息中强调时间，频道和空间信息的融合。此外，受到多任务学习策略的启发，本文通过合并次要任务（回归任务）来提高整体绩效，从而增强了抑郁症分类的主要任务。