人类的生命中有铰接的物体。对清晰的物体的综合理解,即外观,结构,物理特性和语义,将使许多研究社区受益。作为当前的符号对象理解解决方案通常是基于具有无物理属性的CAD模型的合成对象数据集,从而阻止了在视觉和机器人任务中的实现对现实世界应用的满足概括。为了弥合差距,我们提出了AKB-48:一个大规模的对象k nowledge b ase,由48个猫咪的2,037个现实世界3D 3D铰接式对象模型组成。每个对象由知识图Artikg描述。为了构建AKB-48,我们提出了快速的发音知识建模(FARM)管道,可以在10-15分钟内满足铰接对象的Artikg,并在很大程度上降低了Real
摘要。通过互补感应方式整合各种表示形式对于自主驾驶中的强大场景解释至关重要。近年来,融合视觉和范围数据的深度学习体系结构具有先进的2D和3D对象检测。但是,这些方式在不利的天气或照明条件下通常会降解,从而导致性能下降。虽然已经开发了域适应性甲基元素来弥合源域和目标域之间的缝隙,但由于源和目标域之间的固有差异,它们通常会缺乏。此差异可以在数据的不同分布和不同特征空间的不同分布中表现出来。本文介绍了一个全面的域自适应对象检测框架。通过深度转移学习开发,该框架旨在从标记的透明天气数据中稳健地概括到无标记的不良天气条件,从而增强了基于深度学习的对象检测模型的性能。创新的斑块熵融合模块(PEFM)是我们方法的核心,该方法动态整合了sens-sor数据,强调关键信息并最大程度地减少了背景干扰。这进一步补充了一种新型的加权决策模块(WDM),该模块(WDM)根据其在特定环境条件下的功效来调整不同传感器的贡献,从而优化了检测准确性。此外,我们在转移学习过程中集成了域对齐损失,以确保有效的域适应性通过将特征图差异定于清晰和不利天气数据集之间的差异。我们评估了不同数据集的模型,包括Exdark(单峰),CityScapes(单峰)和密集(Mul-timodal),在我们评估的时间点,它在所有数据集中排在所有数据集中。
尽管最近的研究通过深度学习技术突破了极限,但从 3D 点云中进行物体检测仍然是一项具有挑战性的任务。由于严重的空间遮挡和点密度随到传感器距离的固有变化,同一物体在点云数据中的外观会有很大变化。因此,设计针对这种外观变化的鲁棒特征表示是 3D 物体检测方法的关键问题。在本文中,我们创新地提出了一种类似域自适应的方法来增强特征表示的鲁棒性。更具体地说,我们弥合了特征来自真实场景的感知域和特征从由富含详细信息的非遮挡点云组成的增强场景中提取的概念域之间的差距。这种领域自适应方法模仿了人脑在进行物体感知时的功能。大量实验表明,我们简单而有效的方法从根本上提高了 3D 点云物体检测的性能并取得了最先进的结果。
基于扩散的生成模型在合成和操纵图像具有巨大的图像方面表现出了令人鼓舞的结果,其中文本到图像模型及其后续作品在学术界和行业中都具有很大的影响。编辑真实图像时,用户通常希望对不同元素具有直观而精确的控制(即对象)组成图像,并不断地操纵它们。我们可以根据图像中的单个观察的控制级别对现有的图像编辑方法进行分类。一条工作涉及使用文本提示来操纵图像[2,15,24,27]。由于很难与文本同时描述多个对象的形状和外观,因此在对象级别上对细粒度控制的能力有限。同时,迅速的工程使操纵任务乏味且耗时。另一项工作线使用低级调理信号,例如Hu等人。[18],Patashnik等。[34],Zeng等。[58],草图[50],图像[5,47,54]编辑图像。但是,其中大多数作品要么属于迅速的工程陷阱,要么无法独立操纵多个对象。与以前的作品不同,我们的目标是独立控制组成图像的多个对象的正确条件,即对象级编辑。我们表明,我们可以在对象级编辑框架下制定各种图像编辑任务,从而实现全面的编辑功能。
摘要 - 为了充分利用移动操纵机器人的功能,必须在大型未探索的环境中自主执行的长途任务。虽然大型语言模型(LLMS)已显示出关于任意任务的紧急推理技能,但现有的工作主要集中在探索的环境上,通常集中于孤立的导航或操纵任务。在这项工作中,我们提出了MOMA-LLM,这是一种新颖的方法,该方法将语言模型基于从开放式摄影场景图中得出的结构化表示形式,随着环境的探索而动态更新。我们将这些表示与以对象为中心的动作空间紧密地交织在一起。重要的是,我们证明了MOMA-LLM在大型现实室内环境中新型语义交互式搜索任务中的有效性。最终的方法是零拍摄,开放式摄影库,并且可以易于扩展到一系列移动操作和家用机器人任务。通过模拟和现实世界中的广泛实验,与传统的基线和最新方法相比,我们证明了搜索效率的显着提高。我们在http://moma-llm.cs.uni-freiburg.de上公开提供代码。
我们介绍多视图的细心上下文化(MVACON),这是一种简单而有效的方法,用于改善基于查询的多视图3D(MV3D)对象检测中的2D- TO-3D功能。尽管在基于查询的MV3D对象检测的领域取得了显着的进展,但先前的艺术通常会因高分辨率的高分辨率2D特征而缺乏基于密集的注意力提升的高分辨率2D特征,或者由于高计算成本,或者由于3D Queries的高度密集地接地不足,无法以3D Queries的高度质量为基于稀疏注意的多级2D功能。我们提出的MVACON使用代表密集但计算稀疏的细心特征连续化方案击中了两只鸟,该方案对特定的2d到3d feleture提升方法不可知。在实验中,使用BEVFormer及其最近的3D变形注意(DFA3D)变体以及PETR对纳斯曲霉基准进行了彻底的测试,并显示出一致的检测性能提高,尤其是在位置,方向和VELOCITY PRECTICTAR中提高了一致的检测性能。还可以在Waymo-Mini基准测试器上进行测试,并具有类似的改进。我们在定性和定量上表明,基于全局群集的上下文有效地编码了MV3D检测的密集场景级上下文。我们提出的MVA-CON的有希望的结果加强了计算机视觉中的格言 - “(contectu-alsized)特征事项”。
雷达相机3D对象检测旨在与雷达信号与摄像机图像进行交互,以识别感兴趣的对象并定位其相应的3D绑定框。为了克服雷达信号的严重稀疏性和歧义性,我们提出了一个基于概率deno的扩散建模的稳健框架。我们设计了框架,可以在不同的多视图3D检测器上易于实现,而无需在训练或推理过程中使用LiDar Point Clouds。在特定的情况下,我们首先通过开发带有语义嵌入的轻质DENOIS扩散模型来设计框架编码器。其次,我们通过在变压器检测解码器的深度测量处引入重建训练,将查询降解训练开发为3D空间。我们的框架在Nuscenes 3D检测基准上实现了新的最新性能,但与基线检测器相比,计算成本的增加很少。
开放式对象检测(OSOD)已成为当代研究方向,以解决对未知对象的检测。最近,很少有作品通过使用Con-Contrastive聚类来分开未知类,在OSOD任务中实现了可观的性能。相比之下,我们提出了一种新的基于语义聚类的方法,以促进语义空间中有意义的群集的对齐,并引入一个类去相关模块以实现群间间的分离。我们的方法进一步不适合对象焦点模块预测对象分数,从而增强了未知对象的检测。此外,我们采用了i)一种评估技术,该技术对低置信度输出进行了惩罚,以减轻对未知对象的错误分类的风险,ii)一种称为HMP的新指标,该指标使用hMP使用Har-nonic Mean结合了已知和未知的精度。我们的广泛实验表明,所提出的模型可以在OSOD任务上对MS-Coco&Pascal VOC数据集有显着改进。
本本学论文研究了使Ari人形机器人能够使用机器学习和计算机视觉中的基本概念来学习和识别新对象的任务。该研究围绕着开发和实施直接向前的3D对象检测和分类管道,目的是使机器人能够识别以前尚未遇到的对象。该方法整合了开放式识别和增量学习的基本方面,重点是使用ARI机器人在实用环境中应用这些技术。通过一系列元素实验评估了实施系统的有效性,重点关注其检测和分类新的观察的能力。这些初始测试提供了有关系统在受控环境中的基本功能及其潜在效用的见解。本文在介绍性层面上有助于掌握机器人技术,并在实用机器人背景下对机器学习和计算机视觉的使用进行了初步探索。它为在机器人对象识别领域的未来研究奠定了基础。
《中华人民共和国国民经济和社会发展第十四个五年规划和二零三五年远景目标纲要》是根据《中共中央关于制定国民经济和社会发展第十四个五年规划和二零三五年远景目标的建议》制定的,它明确了国家的战略意图,明确了政府工作重点,引导和规范了市场主体行为,是中国开启全面建设社会主义现代化国家新征程的宏伟蓝图,是全体中国人民的共同行动纲领。