对比语言图像预训练 (CLIP) 编码器已被证明对从分类和检测到字幕和图像处理等一系列视觉任务有益。我们研究了 CLIP 视觉主干对 Embodied AI 任务的有效性。我们构建了非常简单的基线,称为 EmbCLIP,没有任务特定的架构、归纳偏差(例如使用语义图)、训练期间的辅助任务或深度图——但我们发现我们改进的基线在一系列任务和模拟器中表现非常出色。EmbCLIP 在 RoboTHOR ObjectNav 排行榜上以 20 分(成功率)的巨大优势名列前茅。它在 iTHOR 1-Phase Rearrangement 排行榜上名列前茅,击败了采用主动神经映射的第二佳提交作品,并且 % Fixed Strict 指标增加了一倍多(0.08 到 0.17)。它还击败了 2021 年 Habitat ObjectNav 挑战赛的获胜者,该挑战赛采用了辅助任务、深度图和人工演示,以及 2019 年 Habitat PointNav 挑战赛的获胜者。我们评估了 CLIP 的视觉表示在捕获输入观察的语义信息方面的能力——这些原语对于导航繁重的具身任务很有用——并发现 CLIP 的表示比 ImageNet 预训练的主干更有效地编码了这些原语。最后,我们扩展了我们的一个基线,生成了一个能够进行零样本物体导航的代理,它可以导航到训练期间未用作目标的物体。我们的代码和模型可以在 https://github.com/allenai/embodied-clip 获得。
课堂感知是一个重要且活跃的研究领域,具有巨大的教学改进潜力。作为专业观察员(当前最佳实践)的补充,自动化教学专业发展系统可以参加每节课并捕捉所有在场人员的细微细节。课堂注视行为是捕捉的一个特别有价值的方面。对于学生来说,某些注视模式已被证明与对材料的兴趣相关,而对于教师来说,以学生为中心的注视模式已被证明可以提高可接近性和即时性。不幸的是,之前的课堂注视传感系统的准确性有限,通常需要专门的外部或佩戴传感器。在这项工作中,我们开发了一种新的计算机视觉驱动系统,该系统为教室的 3D“数字孪生”提供支持,并实现全班 6DOF 头部注视矢量估计,而无需对任何在场人员进行测量。我们描述了我们的开源实现,以及受控研究和现实世界课堂部署的结果。
摘要 多重外部表征 (MER) 对于科学、数学和工程学的实践和学习至关重要,因为这些领域中研究和控制的现象和实体通常无法被感知和采取行动。因此,MER 在这些领域的推理中发挥着双重构成作用。首先,MER 代表想象中的现象和实体,从而使科学研究成为可能。其次,与上述内容相关的是,与 MER 的感觉运动和想象互动使得涉及这些现象和实体的集中认知操作成为可能,例如心理旋转和类比变换。这两个构成作用表明,获得科学、数学和工程学的专业知识需要发展转化和整合该领域 MER 的能力,同时在想象中对 MER 所代表的现象和实体进行操作。因此,这种整合外部和内部表征及其操作的核心能力(称为表征能力 (RC))对于科学、数学和工程学的学习至关重要。但是,目前尚无关于这一核心过程的一般说明。我们认为,鉴于 MER 发挥的上述两个构成作用,表征能力的理论解释需要一个明确的模型来说明认知系统如何与外部表征相互作用,以及想象力如何
在卫星通信中,链路边缘以及天线辐射特征是确保在空间和接地段之间提供牢固的通信联系的关键因素。用于遥测/遥控器和有效载荷数据传输,ISOFLUX天线被广泛用于卫星通信系统中,以有效地引导电磁波。为了降低复杂性和制造成本,首选简单的天线结构。在这项研究中,经过详细的文献调查,已设计了Polyrod天线,用于在低地球轨道卫星通信子系统的空间段中使用。所提出的polyrod天线在天线的60 0高度角下具有最大增益。此外,其阻抗带宽为750MHz(11%),足以在高数据速率发射器中使用。通过使用CST微波工作室TM,这是一种可商购的3-D电磁时间域求解器,方向性,增益,轴向比率,用于X波段的高程平面以及回报损失特征。基于获得的结果,可以在需要圆锥形束辐射图案的情况下使用设计的polyrod天线。
摘要 — 从“互联网人工智能”时代到“具身人工智能”时代,出现了一种新兴的范式转变,人工智能算法和代理不再从主要来自互联网的图像、视频或文本数据集中学习。相反,他们通过与环境的互动从类似于人类的自我中心感知中进行学习。因此,对具身人工智能模拟器的需求大幅增长,以支持各种具身人工智能研究任务。对具身人工智能日益增长的兴趣有利于对通用人工智能 (AGI) 的更大追求,但目前还没有对这一领域的当代和全面的调查。本文旨在为具身人工智能领域提供百科全书式的调查,从其模拟器到其研究。通过评估我们提出的七个特征的九个当前具象人工智能模拟器,本文旨在了解模拟器在具象人工智能研究中的用途及其局限性。最后,本文调查了具象人工智能的三个主要研究任务——视觉探索、视觉导航和具象问答 (QA),涵盖了最先进的方法、评估指标和数据集。最后,通过调查该领域发现的新见解,本文将为任务模拟器的选择提供建议,并为该领域的未来方向提供建议。
需要 AI 进行学习。这就需要关注涵盖重要案例并始终标记的数据,以便 AI 可以从这些数据中学习它应该做什么。换句话说,创建这些有价值的 AI 系统的关键是我们需要能够使用数据而不是代码编程的团队。为什么在技术领域之外采用 AI 如此困难 为什么 AI 没有在消费者互联网公司之外广泛使用?其他行业采用 AI 面临的最大挑战包括: 1.数据集小。在拥有大量用户的消费者互联网公司中,工程师拥有数百万个数据点,他们的 AI 可以从中学习。但在其他行业,数据集大小要小得多。例如,您能否构建一个 AI 系统,在仅查看 50 个示例后就学会检测有缺陷的汽车部件?或者从 100 个诊断中学习后检测出罕见疾病?当只有 50 个数据点时,为 5000 万个数据点构建的技术不起作用。2.定制成本。消费者互联网公司雇用数十或数百名熟练的工程师来构建和维护创造巨大价值的单片 AI 系统——例如,每年产生超过 10 亿美元收入的在线广告系统。但在其他行业,有许多 100 万至 500 万美元的项目,每个项目都需要定制的 AI 系统。例如,每个生产不同类型产品的工厂可能需要定制的检查系统,每家医院都有自己的健康记录编码方式,可能需要自己的 AI 来处理其患者数据。这些数十万个项目的总价值是巨大的;但单个项目的经济效益可能不支持雇用一个大型、专门的人工智能团队来构建和维护它。人工智能人才的持续短缺加剧了这个问题,进一步推高了这些成本。3.概念验证与生产之间的差距。即使人工智能系统在实验室中工作,也需要大量的工程来部署
另行通知,TRPA 区域计划实施委员会将于 2019 年 10 月 23 日星期三上午 8:30 在太浩区域规划局召开会议。议程如下:1) 公众利益评论;2) 批准议程;3) 批准会议记录;4) 讨论并可能建议修改绩效审查制度、法规修正案、第 50.5.2 节有关短期租赁的内容;以及短期租赁社区兼容性指南;(第 285 页)5) 讨论并可能指导 Washoe 县太浩区域计划草案;(第 287 页)6) 讨论并指导太浩礁湖水生杂草控制方法测试替代方案; (第 309 页)7)讨论并可能建议对 TRPA 法令第 2、21、30、37、50、51、53 和 84 章进行技术修订,以澄清现有语言并纳入技术更正;(第 317 页)8)阈值更新:讨论并可能指导流动性措施;(第 375 页)9)即将到来的主题;(第 401 页)10)委员会成员评论;主席 - Shute,副主席 - Bruce、Aldean、Laine、Lawrence、Sevison、Yeates;11)公众利益评论
