从大型2D图像收集中学习3D头先验是迈向高质量3D感知人类建模的重要一步。核心需求是一种有效的体系结构,可以很好地扩展到大型数据集和大型图像分辨率。不幸的是,现有的3D GAN由于火车相对较慢和渲染速度而难以扩展以高分辨率生成样品,并且通常必须依靠2D超分辨率网络以牺牲全球3D一致性为代价。为了应对这些挑战,我们提出了发电性高斯头(GGHEAD),该挑战在3D GAN框架内采用了最近的3D高斯剥落表示。为了生成3D表示,我们采用强大的2D CNN发电机来预测模板头网格的UV空间中的高斯属性。以这种方式,GGHEAD利用了模板的UV布局的规律性,从而实质上促进了预测非结构化的3D高斯人的挑战性任务。我们进一步提高了生成的3D表示的几何保真度,并在渲染的紫外线坐标上发生了新的总变化损失。直觉,这种正则化鼓励相邻的渲染像素应源于模板的紫外线空间中的邻近高斯人。总的来说,我们的管道可以有效地生成仅从单视2D图像观测值训练的3D头。我们的拟议框架与FFHQ上现有的3D头gan的质量相匹配,同时既快速又完全3D。结果,我们首次以1024 2分辨率证明了高质量3D一致的头的实时生成和渲染。项目网站:https://tobias-kirschstein.github.io/gghead
摘要 - 可推广的感知是太空机器人技术中高级自治的支柱之一。估计动态环境中未知对象的结构和运动对于此类自主系统至关重要。传统上,解决方案依赖于目标对象的先验知识,多个不同的表示或不适合机器人操作的低保真输出。这项工作提出了一种新颖的方法,可以使用统一表示形式来逐步重建和跟踪动态未知对象 - 一组3D高斯斑点,描述了其几何形状和外观。可区分的3DGS框架适合以动态对象设置。管道的输入是一组顺序的RGB-D图像。3D重建和6-DOF姿势跟踪任务是使用基于一阶梯度的优化来解决的。该公式很简单,不需要预训练,不假定对对象或其运动的先验知识,并且适合在线应用程序。在任意相对运动下的10个未知航天器的数据集中验证了所提出的方法。实验表明,在短期到中持续时间内,目标对象的成功3D重建和准确的6-DOF跟踪。讨论了跟踪漂移的原因,并概述了潜在的解决方案。
摘要 - 构建语义3D地图对于搜索官方,仓库,商店和房屋感兴趣的对象很有价值。我们提出了一个映射系统,该系统会逐步构建一种语言包裹的高斯splat(腿):详细的3D场景表示形式,该表示同时编码外观和语义是在统一的表示中。腿在网上训练,因为机器人遍历其环境,以便可以定位开放式对象查询。我们在4个房间场景上评估了腿部,在该场景中我们查询场景中的物体,以评估腿如何捕获语义含义。我们将腿与LERF [1]进行了比较,并发现尽管两个系统都具有可比的对象查询率,但腿的训练速度比LERF快3.5倍。结果表明,多相机设置和增量捆绑捆绑调节可以提高受约束的机器人轨迹的视觉重建质量,并建议腿可以定位开放式播放器和长尾对象查询,其精度高达66%。请参阅项目网站:berkeleyautomation.github.io/legs
高斯流程(GPS)[1]是机器学习中的一种多功能工具,但对它们的构成诸如阳性,单调性或物理约束之类的约束是具有挑战性的[2]。过去的作品已考虑将GPS作为差异方程的解决方案[3],时间和光谱重建问题[4],或通过线性操作员注入域特异性约束[5]。其他作品与非线性函数相结合的GP输出[6,7],通过约束边际可能性[8]或铸造线性约束作为截短的多变量高斯分布的条件期望,将输出结合到正值[9]。在这项工作中,我们旨在发现一个积极价值的天文光谱的潜在空间。在过去的降低谱图[10,11,12]的作品中,[13]独特地纳入了非阴性约束。,我们通过将其外部限制到正值来扩展高斯过程潜在变量模型(GPLVM)[14]。天文光谱的幅度不是本质的物理特性,不应在潜在空间中反映。我们引入了规模不变,并表明它会导致更好的重建。
摘要 - 从演示中学习的核心挑战是生成适应能力并可以推广到看不见的情况的表示。这项工作建议在不使用特定于任务的启发式方法的情况下学习这种表示形式,而在全球框架中叠加本地技能,在多次参考框架技能学习的背景下。首先通过使用高斯流程(GPS)拟合相对技能来了解本地政策。然后,另一个GP决定了每个帧与每个时间步的相关性,它是从不同批次的演示中以自我监督的方式训练的。GP的不确定性定量能力被利用以稳定当地政策并以完全贝叶斯的方式训练框架相关性。我们通过在模拟中生成的多帧任务的数据集以及具有机器人操作的拾取和位置重新封闭任务的真实实验中生成的多帧任务。我们用两个指标评估了方法的性能:生成的轨迹与每个任务目标以及这些轨迹和测试专家轨迹之间的偏差有多近。根据这两个指标,所提出的方法始终优于最先进的基线,任务参数化的高斯混合模型(TPGMM)。
[1] Bui-Thanh,Tan等。“由PDE管辖的贝叶斯反问题的极端尺度UQ。”sc'12:高性能计算,网络,存储和分析国际会议论文集。IEEE,2012年。[2] Durrande,Nicolas,David Ginsbourger和Olivier Roustant。“用于高维高斯过程建模的添加剂协方差内核。”Annales de la cociences de Toulouse:Mathématiques。卷。21。编号3。2012。[3] Brown,D。W.等。在造成热处理期间,激光粉末床融合TI-6AL-4V的微观结构的演变。冶金和材料交易A 52(2021):5165-5181
为了最大限度地减少大范围无线光通信 (WOC) 应用中的发散并扩大潜在的链路范围,可以使用位于传输光纤端点焦距处的适当准直透镜对光束进行准直,以减少光束扩散的影响。使用靠近接收光纤端点的类似透镜将光束重新聚焦回光纤中。本报告深入探讨了与研究类似自由空间光通信系统相关的概念,并从理论上优化接收光束点尺寸以确保接收数据信号的最大效率。在研究真实系统时,考虑大气条件至关重要,因为它们具有重大影响。此外,本文还回顾并讨论了最近的进展和发展。
在海洋工程中,计算流体动力学(CFD)模型对于模拟时间敏感的情况至关重要,例如预测溢油以及在海上进行搜索和救援操作。因此,创建可以有效,准确模拟实时数据的CFD模型至关重要。当前的CFD模型分为两类:慢速且计算上昂贵但准确的细化高保真模型,并且速度快,便宜但通常不准确。为了开发一个平衡计算成本和准确性的模型,我们建议使用稀疏变分高斯工艺进行闭合建模。我们模拟了二维流体流的理想情况,并通过圆柱障碍物越过,并增强了具有三种高保真模型的三种不同离散化的低保真模型。在所有离散化中,我们的增强低保真度模型保留了与高保真模型的高度准确性和相似性,并且与标准的低保真模型相比,误差明显少得多。因此,我们发现高斯过程可以有效地用于闭合流体流量。
rlbench数据集。在本节中,我们提供了RL-Bench [4]数据集和我们的培训管道的简洁概述。表1是我们在实验中使用的10个选定任务的概述。我们的任务变化包括随机采样的颜色,大小,计数,位置和对象类别。我们有20种阴影的调色板,包括红色,栗色,绿色,蓝色,海军,黄色,青色,洋红色,银,灰色,橙色,橙色,橄榄,紫色,紫色,蓝绿色,蓝色,紫色,紫罗兰,玫瑰,黑色和白色。对象的大小分为两种类型:短和高。对象的数量可以为1、2或3。其他属性因特定任务而异。此外,对象在一定范围内随机排列在桌面上,增加了任务的多样性。在消融研究中,我们根据[3]的任务分类从表1的RLBench任务分组为6个类别,并根据其主要挑战。任务组包括:
摘要。在非结构化环境中执行语言条件的机器人操纵任务对于一般的智能机器人高度要求。常规的机器人操纵方法通常会学习对动作预测观察的单一表示,这忽略了人类目标组成的场景级时空动力学。在本文中,我们提出了一种动态的高斯分裂方法,名为Manigaussian多任务机器人操纵,该方法通过未来场景重建进行了场景动态。具体而言,我们首先要介绍动态的高斯脱落框架,该框架渗透了高斯嵌入空间中的半义传播,其中利用语义表示来预测最佳的机器人动作。然后,我们构建了一个高斯世界模型,以参数化我们动态的高斯脱落框架中的分布,该框架通过未来的场景重建在交互式环境中提供了信息性的范围。我们通过166个变体评估了10个RLBench任务的Manigussian,结果表明我们的框架可以比最先进的方法胜过13。平均成功率1%。