XiaoMi-AI文件搜索系统
World File Search System视觉
dmr：视觉增强学习中的框架和事件融合的分解多模式表示
我们使用两种互补视觉方式探索视觉增强学习（RL）：基于框架的RGB凸轮和基于事件的动态视觉传感器（DVS）。iSTING多模式视觉RL方法在有效提取与任务相关的信息时经常遇到挑战。为了解决这个问题，我们提出了用于视觉RL的分解多模式表示（DMR）框架。它将输入分为三个不同的组成部分：与任务相关的效果（共同功能），RGB特异性噪声和DVS特异性噪声。共同创作表示与RL任务相关的两种模式中的完整信息；这两个噪声组件都受到数据重构损失以避免信息泄漏的约束，与共同创作形成对比，以最大程度地差异。广泛的经验表明，通过明确分开不同信息的类型，我们的方法可实现与最先进的方法相比，实质性改善的政策绩效。
知道您的邻居：通过空间视觉语言推理改善单视的重建
从单个视图中恢复3D场景几何形状是计算机视觉中的基本问题。虽然经典的深度估计方法仅推断出2.5D场景表示为图像平面，但最新的基于辐射范围的aperach是重建完整的3D代表。然而，这些方法仍然在被占地的区域困难，因为没有视觉观察的几何形状需要（i）周围的语义知识，以及（ii）关于空间上下文的推理。我们提出了Kyn，这是一种单视场景重建的新方法，其原因是语义和空间上下文来预测每个点的密度。我们引入了一个视觉模块模块，以使用细粒度的语义信息丰富点特征。我们通过语言引导的空间注意机制在整个场景中汇总了点表示，以产生意识到3D语义环境的每点密度预测。我们表明，与预测每个3D点的密度相比，Kyn改善了3D形状的恢复。我们在Kitti-360上实现了最新的场景和对象重建结果，并且与先前的工作相比，零弹性概括的改进。项目页面：https：//ruili3.github.io/kyn。
佛罗伦萨-2：推进各种视觉任务的统一代表
我们介绍了Florence-2，这是一个新型视觉基础模型，具有统一的，及时的代表，用于量级计算机视觉和视觉语言任务。在转移学习方面表现出色时，他们努力通过简单的说明执行各种任务，这意味着处理各种空间层次结构和语义粒度的复杂性。Florence-2旨在将文本推出作为任务说明，并以文本形式产生理想的结果，无论是限制，对象检测，接地还是分割。这种多任务学习设置需要大规模的高质量注释数据。为此，我们使用自动化图像注释和改进的迭代策略，共同开发了1.26亿张图像的FLD-5B。我们采用了一个序列结构，以训练佛罗伦萨-2，以执行多功能和全面的视觉任务。对众多任务的广泛评估表明，佛罗伦萨-2是具有未曾预性零击和微调功能的强大愿景基础模型竞争者。
边缘的计算机视觉：使用redmycow系统实时实时识别
在精确的牲畜种植中，牛的个体识别对于为赋予动物福利，健康和生产力做出的决定提供了至关重要的。在文字中，存在可以读取耳罩的模型；但是，它们不容易携带到现实世界中的牛生产环境，并主要在静止图像上做出预测。我们提出了一个基于视频的牛耳牌阅读系统，称为deRmycow，该系统利用视频中的节奏特性来准确检测，跟踪和读取边缘设备上25 fps的牛耳标。对于视频中的每个帧，ReDmycow在两个步骤中发挥作用。1）标签检测：Yolov5s对象检测模型和NVIDIA DEEPSTREAM跟踪层检测并跟踪存在的标签。2）标签读数：小说whentoread mod-ule决定是读取每个标签，使用trba场景文本识别模型或使用从前框架上读取的读数。该系统是在边缘设备上实现的，即NVIDIA JETSON AGX ORIN或XAVIER，使其可移植到没有外部计算资源的牛生产环境中。要达到实时速度，请阅读 - MyCow仅在当前框架中读取检测到的标签，如果它认为在当前框架中明显改善决策时，它将获得更好的读数。理想情况下，这意味着即使标签被遮挡或模糊，也可以在视频中找到标签的最佳读数并存储在视频中。在真正的中西部奶牛场住房测试该系统时，9,000头母牛，雷米科（Demmycow）系统准确地阅读了96.1％的印刷耳廓，并证明了其现实世界中的商业潜力。devmycow为商业牛农场提供了知情的数据驱动决策流程的机会。
使用粗到精视觉变换器进行仿射医学图像配准
仿射配准在全面的医学图像配准流程中不可或缺。然而，只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络（CNN）来学习联合仿射和非参数配准，而对仿射子网络的独立性能探索较少。此外，现有的基于 CNN 的仿射配准方法要么关注局部错位，要么关注输入的全局方向和位置来预测仿射变换矩阵，这些方法对空间初始化很敏感，并且除了训练数据集之外表现出有限的通用性。在本文中，我们提出了一种快速而鲁棒的基于学习的算法，即粗到精视觉变换器（C2FViT），用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明，我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法，同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
基于计算机视觉的位移识别及其在操作条件下的桥梁状况评估中的应用
摘要：桥梁损坏检测对于确保桥梁结构的安全性和完整性至关重要。传统的损伤检测方法通常依赖于手动检查或基于传感器的测量结果，这可能是耗时且昂贵的。近年来，计算机视觉技术在桥梁位移测量和损伤检测中显示了有希望。这项研究的目的是从基于计算机视觉的方法测量的位移中提取可靠的特征，这些方法对结构条件变化敏感，同时对操作条件的变化有牢固的变化。特别是，本研究论文使用基于基于计算机视觉的位移测量的横向影响比（DTIR）定义的指标提出了一种新颖的桥梁损伤检测方法。所提出的方法利用计算机视觉算法在移动负载下提取桥梁的位移响应。DTIR指示器定义为在两个相邻梁之间的车辆诱导的桥梁准静态位移比，被提取为对损伤敏感的特征。理论推导证明，DTIR指标仅与车辆在甲板上的结构状况和横向位置有关，而与车辆重量和速度的变化无关。为了验证所提出的方法的有效性，在具有不同结构条件的多束梁桥上进行了一系列驱动实验。结果证明了所提出的方法准确检测结构损伤的发生和可能位置的能力。此外，本文讨论了用于桥梁损坏检测的DTIR指标的优点和局限性，以及如何将所提出的方法推广到具有两个以上的交通车道的桥梁。总而言之，提出的方法为在操作条件下的桥梁提供低成本，易于部署和可扩展的健康监控解决方案提供了有希望的解决方案。
使用人工神经网络对视觉障碍进行建模
我们提出了一种方法来弥合人类视觉计算模型与视觉障碍 (VI) 临床实践之间的差距。简而言之，我们建议将神经科学和机器学习的进步结合起来，研究 VI 对关键功能能力的影响并改进治疗策略。我们回顾了相关文献，目的是促进充分利用人工神经网络 (ANN) 模型来满足视障人士和视觉康复领域操作人员的需求。我们首先总结了现有的视觉问题类型、关键的功能性视觉相关任务以及当前用于评估两者的方法。其次，我们探索最适合模拟视觉问题的 ANN，并在行为（包括性能和注意力测量）和神经层面预测它们对功能性视觉相关任务的影响。我们提供指导方针，为未来针对受 VI 影响的个体开发和部署 ANN 的临床应用研究提供指导。
VLP：自主驾驶的视觉语言计划
自主驾驶是一项复杂而具有挑战性的任务，旨在通过场景和推理来实现安全的运动计划。最近，通过增强的场景理解，几个关键问题，包括缺乏推理，低概括性能和长尾场景，但仍需要戴着几个关键问题，但仍需要进行一些关键问题。在本文中，我们提出了VLP，这是一个新颖的视力 - 语言规划框架，利用语言模式来弥合语言理解与自动驾驶之间的差距。VLP通过加强源内存基础和自动驾驶汽车的上下文理解来增强自主驾驶系统。vlp通过与先前的最佳方法相比，分别在平均L2错误和碰撞率方面，分别在平均L2错误和碰撞率方面实现了35.9％和60.5％的端到端规划表演。此外，在面对新的城市环境时，VLP在挑战性的长尾方案和强大的概括能力方面表现出改善的性能。
视觉、学习和机器人：2020 年代的植物人工智能
随着全球人口的增长和对粮食的需求不断增加，农业生产面临着巨大的压力。与此同时，气候变化和资源限制加剧了这些挑战，进一步凸显了对可持续农业实践的需求。为了解决这些复杂的问题，植物科学领域正在经历一场技术革命。人工智能 (AI)、计算机视觉和机器人技术的快速发展正在重新定义植物的研究方式和农业实践的管理方式。从高通量表型到精准农业和实时监测，这些技术正在显著提高效率和准确性，为更具弹性和可持续性的农业系统奠定基础。本研究主题汇集了开创性的研究，以展示人工智能如何推动植物科学的发展并为现代农业提供创新解决方案。
糖：机器人技术的预训练3D视觉表示
从网络数据中学习可概括的视觉表示已为机器人技术带来了令人鼓舞的结果。然而，预循环方法着眼于预训练2D表示，是应对闭塞的优势，并在复杂的3D场景中准确地将对象定位。同时，3D代表学习仅限于单对象。为了解决这些局限性，我们引入了一个名为Sugar的机器人技术的新型3D预训练框架，该框架通过3D点云捕获对象的语义，几何和负担性能。我们强调了3D表示学习中混乱场景的重要性，并自动构建一个受益于模拟中无需成本监督的多对象数据集。Sugar采用一种多功能变压器的模型来共同解决五个预训练任务，即用于语义学习的跨模式知识蒸馏，以掩盖点建模，以取消几何结构，掌握姿势合成以进行对象负担，3D实例分割和引用表达地面以分析杂乱无章的场景。我们对三个与机器人相关的任务进行了学习的代表，即零射击3D对象识别，引用凸起的接地和语言驱动的机器人操作。实验结果表明，糖的3D表示优于最先进的2D和3D表示。