注意:根据上述内容,依据 2008 年 10 月 17 日第 18,381 号法律、2020 年 11 月 16 日第 1243/2020 号总秘书处决议的规定,根据共和国宪法第 181 条第 9 款和 2024 年 12 月 18 日第 14,514 号部长决议授予权力;总秘书长办公室主任行使授权
摘要 在计算机视觉和机器人领域,具身代理有望探索其环境并执行人类的指令。 这就需要能够根据第一人称观察充分理解 3D 场景,并将其语境化为语言进行交互。 然而,传统研究更多地侧重于从全局视角进行场景级输入和输出设置。 为了解决这一差距,我们引入了 EmbodiedScan,这是一个多模态、以自我为中心的 3D 感知数据集和整体 3D 场景理解的基准。 它包含超过 5k 个扫描,封装了 1M 个以自我为中心的 RGB-D 视图、1M 个语言提示、160k 个 3D 导向框,涵盖 760 多个类别,其中一些与 LVIS 部分一致,以及具有 80 个常见类别的密集语义占用率。 基于这个数据库,我们引入了一个名为 Embodied Perceptron 的基线框架。它能够处理任意数量的多模态输入,并表现出卓越的 3D 感知能力,无论是在我们建立的两个系列基准测试(即基本 3D 感知任务和基于语言的任务)中,还是在野外。
视觉识别生态系统(例如 ImageNet、Pascal、COCO)在现代计算机视觉的发展中发挥了不可否认的作用。我们认为,在这些生态系统出现之前,交互式和具身视觉 AI 已经达到了与视觉识别类似的发展阶段。最近,各种合成环境已被引入以促进具身 AI 的研究。尽管取得了这些进展,但在模拟中训练的模型如何很好地推广到现实这个关键问题仍然基本上没有答案。为模拟到现实的具身 AI 创建一个可比的生态系统提出了许多挑战:(1)问题固有的交互性,(2)现实世界和模拟世界之间需要紧密结合,(3)复制可重复实验的物理条件的难度,(4)以及相关成本。在本文中,我们引入了 R OBO THOR 来使交互式和具身视觉 AI 的研究民主化。 R OBO THOR 提供模拟环境框架
希望参加此次活动的记者请于 9 月 6 日星期三中午 12 点之前通过电子邮件认证,注明姓名、名字、出生日期和地点,发送至以下地址:media@dicod.fr。
对比语言图像预训练 (CLIP) 编码器已被证明对从分类和检测到字幕和图像处理等一系列视觉任务有益。我们研究了 CLIP 视觉主干对 Embodied AI 任务的有效性。我们构建了非常简单的基线,称为 EmbCLIP,没有任务特定的架构、归纳偏差(例如使用语义图)、训练期间的辅助任务或深度图——但我们发现我们改进的基线在一系列任务和模拟器中表现非常出色。EmbCLIP 在 RoboTHOR ObjectNav 排行榜上以 20 分(成功率)的巨大优势名列前茅。它在 iTHOR 1-Phase Rearrangement 排行榜上名列前茅,击败了采用主动神经映射的第二佳提交作品,并且 % Fixed Strict 指标增加了一倍多(0.08 到 0.17)。它还击败了 2021 年 Habitat ObjectNav 挑战赛的获胜者,该挑战赛采用了辅助任务、深度图和人工演示,以及 2019 年 Habitat PointNav 挑战赛的获胜者。我们评估了 CLIP 的视觉表示在捕获输入观察的语义信息方面的能力——这些原语对于导航繁重的具身任务很有用——并发现 CLIP 的表示比 ImageNet 预训练的主干更有效地编码了这些原语。最后,我们扩展了我们的一个基线,生成了一个能够进行零样本物体导航的代理,它可以导航到训练期间未用作目标的物体。我们的代码和模型可以在 https://github.com/allenai/embodied-clip 获得。
人工智能:欧洲和罗马尼亚初创企业格局概述及其决定其成功的因素 Adina SĂNIUȚĂ 国立政治研究和公共管理大学 6-8 Povernei St., Sector 1, 012104 布加勒斯特,罗马尼亚 adina.saniuta@facultateademanagement.ro Sorana-Oana FILIP 罗马尼亚 sorana.filip@gmail.com 摘要 人工智能 (AI) 已融入我们生活的许多方面;在技术驱动的时代,企业使用人工智能来提高生产力,更好地了解消费者行为或通过机器人提供服务。基于 Filip (2021) 为论文进行的在线桌面和试点研究,该研究概述了欧洲和罗马尼亚初创企业的格局以及决定其成功的因素,如产品开发核心团队专业知识、核心团队承诺和业务战略。该研究旨在为进一步的论文创建一个框架,该论文将深入研究罗马尼亚的人工智能初创环境,因为经济期刊预测,鉴于罗马尼亚在这一领域的潜力以及 IT、技术和机器人领域的人才库,该市场将在不久的将来增长。关键词人工智能;初创企业;成功因素。介绍人工智能的一般性讨论人工智能 (AI) 有多种形式,从人脸检测和识别系统、搜索和推荐算法到数字助理、聊天机器人或社交媒体。它的复杂性和动态性很难用一个定义来概括 (Zbuchea、Vidu 和 Pinzaru,2019)。据统计,到 2024 年,全球人工智能市场规模预计将达到 5000 亿美元(Statista,2021a),预计人工智能软件市场收入将达到 3275 亿美元(Statista,2021b)。尽管人工智能在过去几年似乎发展迅速,普及度不断提高,但人工智能的历史可以追溯到 20 世纪 50 年代,当时这一概念诞生于科学家、数学家和哲学家的头脑中。艾伦·图灵是第一个对这一主题进行广泛研究的人,他在他的论文“计算机器和智能”中描述了人工智能一词,以及它的构建和测试(Anyoha,2017,第 1 页)。随着图灵测试的引入,他
摘要:我们提出了 BEHAVIOR-1K,一个以人为本的机器人综合模拟基准。BEHAVIOR-1K 包括两个部分,分别由“您希望机器人为您做什么?”这一广泛调查的结果指导和推动。第一个部分是定义 1,000 种日常活动,基于 50 个场景(房屋、花园、餐厅、办公室等),其中有 5,000 多个对象,并标注了丰富的物理和语义属性。第二个部分是 O MNI G IBSON,这是一个新颖的模拟环境,它通过逼真的物理模拟和刚体、可变形体和液体的渲染来支持这些活动。我们的实验表明,BEHAVIOR-1K 中的活动是长期的并且依赖于复杂的操作技能,这两者对于最先进的机器人学习解决方案来说仍然是一个挑战。为了校准 BEHAVIOR-1K 的模拟与现实之间的差距,我们提供了一项初步研究,研究如何在模拟公寓中使用移动机械手学到的解决方案转移到现实世界中。我们希望 BEHAVIOR-1K 的人性化本质、多样性和现实性能够使其对具身化 AI 和机器人学习研究有价值。项目网站:https://behavior.stanford.edu。
