XiaoMi-AI文件搜索系统
World File Search SystemEmbodied
2024-11-08 - CLF NBI RMI UW - 华盛顿州碳排放代码语言建议 - 最终版
我们建议在短期内采用多种合规途径来实施建筑规范，并逐步实施更严格的减排要求。这项建议在环境和经济节约与可行性之间取得平衡，为教育和培训留出更多时间。建议的方法（情景 P.7）将使华盛顿州新建筑的碳排放量比正常情况减少 16%，或在 2025-2050 年期间节省 570 万公吨二氧化碳当量（节省约 7.7 亿美元的社会成本）。这一估计的碳节约量与华盛顿州 2022 年通过的备受赞誉的商业电气化规范估计的 810 万公吨二氧化碳当量节约量处于同一数量级（Kocher & Gruenwald，2022 年）。如果设定的目标比 WBLCA 减少 30% 更严格，那么可以实现比本报告中显示的更大的节约量。
通过控制和设计共选
软机器人利用合规的材料以灵活的方式与复杂和不确定的环境相互作用，从而可以操纵脆弱的物体并与生物的安全相互作用。它们的适应性推动了医学和制造等领域的创新。设计软机器人即使对于经验丰富的设计师，由于其非线性材料，多物理耦合，多个身体与环境之间的复杂相互作用及其许多自由度，即使对于经验丰富的设计师来说也很具有挑战性。这解释了为什么软机器人技术中的第一批设计受到自然的启发，模仿了诸如蠕虫或章鱼之类的软动物。软体能够符合硬对象并重新配置DI FF任务，然后将控制的重要部分委派给身体。与刚性机器人不同，体现的智能仍然是软机器人技术中的新兴话题。但是，很明显，可以很好地适应其环境的代理商可以快速学习智能行为。本文摆脱了传统的训练控制和敏捷性的关注，旨在通过将人工智能与软机器人设计联系起来来应对控制挑战。软机器人技术领域在建模，控制和设计方面提出了许多挑战。Inria Lille的除霜团队已经开发了几种有限元方法（FEM）的工具来应对这些挑战，从而可以准确地模拟软机器人。这些工具已用于低级控制，并在制造前评估了软机器人设计。此探索需要解决一些挑战。在这项工作中，应用了各种基于FEM的仿真和数值优化工具来探索软机器人的计算设计。设计空间必须非常大，才能探索相关的设计，但也受到了足够的限制，以使优化问题可以解决。开发相关的数学适应性功能对于准确评估软机器人设计的性能和效果至关重要。鉴于计算设计算法的重要数据要求和准确模拟的计算费用，我们旨在通过选择平衡计算时间和准确性的模型或使用学习技术来加速FEM模拟来加快模拟的速度。本论文探讨了软机器人的计算设计，重点是对数值结果的模拟到真实性。解决了两个参数软操作器的设计优化，一个具有嵌入式传感器，另一个具有自动接触功能。随着控制任务，环境和设计空间变得更加复杂，计算负担增加。这激发了从FEM模拟中学到的替代模型的发展，以表征软机器人的设计和控制。通过各种情况证明了该模型的适用性，特别是对气动操纵器的嵌入式控制和软操作器的计算设计。此外，这项工作的一个关键目标是开发工具以选择软机器人设计和控制。
体现脱碳：关键矿产、采矿和制造业巨头如何向清洁能源转型 190123.docx
在 Andrew Forrest 博士的领导下，FMG 制定了全国领先的脱碳路线图，目标是到 2030 年实现净零运营排放，并制定了世界领先的完整价值链目标，即到 2040 年实现净零排放（范围 1-3）。FMG 已承诺将其税后利润的 10% 通过 Fortescue Future Industries (FFI) 为可再生能源增长提供资金，另外 10% 则用于其他商品的增长机会。Fortescue 的资本配置与公司业绩挂钩，每年为可再生能源提供约 6.2 亿美元的稳定财务基础。到 2030 年，FMG 计划投资 62 亿美元用于引领澳大利亚的脱碳。35
简单但有效：具身人工智能的 CLIP 嵌入
对比语言图像预训练 (CLIP) 编码器已被证明对从分类和检测到字幕和图像处理等一系列视觉任务有益。我们研究了 CLIP 视觉主干对 Embodied AI 任务的有效性。我们构建了非常简单的基线，称为 EmbCLIP，没有任务特定的架构、归纳偏差（例如使用语义图）、训练期间的辅助任务或深度图——但我们发现我们改进的基线在一系列任务和模拟器中表现非常出色。EmbCLIP 在 RoboTHOR ObjectNav 排行榜上以 20 分（成功率）的巨大优势名列前茅。它在 iTHOR 1-Phase Rearrangement 排行榜上名列前茅，击败了采用主动神经映射的第二佳提交作品，并且 % Fixed Strict 指标增加了一倍多（0.08 到 0.17）。它还击败了 2021 年 Habitat ObjectNav 挑战赛的获胜者，该挑战赛采用了辅助任务、深度图和人工演示，以及 2019 年 Habitat PointNav 挑战赛的获胜者。我们评估了 CLIP 的视觉表示在捕获输入观察的语义信息方面的能力——这些原语对于导航繁重的具身任务很有用——并发现 CLIP 的表示比 ImageNet 预训练的主干更有效地编码了这些原语。最后，我们扩展了我们的一个基线，生成了一个能够进行零样本物体导航的代理，它可以导航到训练期间未用作目标的物体。我们的代码和模型可以在 https://github.com/allenai/embodied-clip 获得。
OpenEQA：基础模型时代的具体问题回答
我们提出了一种现代的体现问题答案（EQA），这是理解环境足以以自然语言回答问题的任务。代理可以通过借鉴情节记忆来实现这种理解，就像在移动机器人的情况下一样，由代理商在智能眼镜上示例或积极探索环境。我们使用OpenEQA（用于EQA的第一个开放式基准基准数据集）伴随着我们的配方。OpenEQA包含超过180个现实环境提取的1600多个高质量的人类生成的问题。除了数据集外，我们还提供了一种自动LLM驱动的评估协议，该协议与人类判断具有良好的相关性。使用此数据集和评估协议，
BEHAVIOR-1K：具有 1,000 个日常活动和现实模拟的具身 AI 基准
摘要：我们提出了 BEHAVIOR-1K，一个以人为本的机器人综合模拟基准。BEHAVIOR-1K 包括两个部分，分别由“您希望机器人为您做什么？”这一广泛调查的结果指导和推动。第一个部分是定义 1,000 种日常活动，基于 50 个场景（房屋、花园、餐厅、办公室等），其中有 5,000 多个对象，并标注了丰富的物理和语义属性。第二个部分是 O MNI G IBSON，这是一个新颖的模拟环境，它通过逼真的物理模拟和刚体、可变形体和液体的渲染来支持这些活动。我们的实验表明，BEHAVIOR-1K 中的活动是长期的并且依赖于复杂的操作技能，这两者对于最先进的机器人学习解决方案来说仍然是一个挑战。为了校准 BEHAVIOR-1K 的模拟与现实之间的差距，我们提供了一项初步研究，研究如何在模拟公寓中使用移动机械手学到的解决方案转移到现实世界中。我们希望 BEHAVIOR-1K 的人性化本质、多样性和现实性能够使其对具身化 AI 和机器人学习研究有价值。项目网站：https://behavior.stanford.edu。
EmbodiedScan：面向具身 AI 的整体多模式 3D 感知套件
摘要 在计算机视觉和机器人领域，具身代理有望探索其环境并执行人类的指令。 这就需要能够根据第一人称观察充分理解 3D 场景，并将其语境化为语言进行交互。 然而，传统研究更多地侧重于从全局视角进行场景级输入和输出设置。 为了解决这一差距，我们引入了 EmbodiedScan，这是一个多模态、以自我为中心的 3D 感知数据集和整体 3D 场景理解的基准。 它包含超过 5k 个扫描，封装了 1M 个以自我为中心的 RGB-D 视图、1M 个语言提示、160k 个 3D 导向框，涵盖 760 多个类别，其中一些与 LVIS 部分一致，以及具有 80 个常见类别的密集语义占用率。 基于这个数据库，我们引入了一个名为 Embodied Perceptron 的基线框架。它能够处理任意数量的多模态输入，并表现出卓越的 3D 感知能力，无论是在我们建立的两个系列基准测试（即基本 3D 感知任务和基于语言的任务）中，还是在野外。
RoboTHOR：一个开放的仿真到现实具象人工智能平台
视觉识别生态系统（例如 ImageNet、Pascal、COCO）在现代计算机视觉的发展中发挥了不可否认的作用。我们认为，在这些生态系统出现之前，交互式和具身视觉 AI 已经达到了与视觉识别类似的发展阶段。最近，各种合成环境已被引入以促进具身 AI 的研究。尽管取得了这些进展，但在模拟中训练的模型如何很好地推广到现实这个关键问题仍然基本上没有答案。为模拟到现实的具身 AI 创建一个可比的生态系统提出了许多挑战：（1）问题固有的交互性，（2）现实世界和模拟世界之间需要紧密结合，（3）复制可重复实验的物理条件的难度，（4）以及相关成本。在本文中，我们引入了 R OBO THOR 来使交互式和具身视觉 AI 的研究民主化。 R OBO THOR 提供模拟环境框架
在交互式舞蹈音乐表演中对深层空间的体现探索
近年来，在音频生成的深度学习模型中已取得了重大进展，提供了有希望的工具用于Musical Creation。在这项工作中，我们研究了在互动舞蹈/音乐表演中使用深度音频生成模型的使用。我们采用了一种表演主导的研究设计方法，建立了研究者/音乐家与舞者之间的艺术研究合作。首先，我们描述了我们的运动互动系统 - 整合深度音频生成模型，并提出了三种用于体现深层空间的探索方法。然后，我们详细介绍建立以系统共同设计为中心的性能的创作过程。最后，我们报告了舞者访谈的反馈，并讨论结果和观点。代码实施在我们的GitHub 1上公开可用。