摘要:我们提出了 BEHAVIOR-1K,一个以人为本的机器人综合模拟基准。BEHAVIOR-1K 包括两个部分,分别由“您希望机器人为您做什么?”这一广泛调查的结果指导和推动。第一个部分是定义 1,000 种日常活动,基于 50 个场景(房屋、花园、餐厅、办公室等),其中有 5,000 多个对象,并标注了丰富的物理和语义属性。第二个部分是 O MNI G IBSON,这是一个新颖的模拟环境,它通过逼真的物理模拟和刚体、可变形体和液体的渲染来支持这些活动。我们的实验表明,BEHAVIOR-1K 中的活动是长期的并且依赖于复杂的操作技能,这两者对于最先进的机器人学习解决方案来说仍然是一个挑战。为了校准 BEHAVIOR-1K 的模拟与现实之间的差距,我们提供了一项初步研究,研究如何在模拟公寓中使用移动机械手学到的解决方案转移到现实世界中。我们希望 BEHAVIOR-1K 的人性化本质、多样性和现实性能够使其对具身化 AI 和机器人学习研究有价值。项目网站:https://behavior.stanford.edu。
推动是一项必不可少的非划算操作技能,用于任务,从预抓操作到场景重新排列,关于场景中的对象关系的推理,因此在机器人技术中广泛研究了推动动作。有效使用推动动作通常需要了解受操纵对象的动态并适应预测与现实之间的差异。出于这个原因,在文献中对推动作用进行了效果预测和参数估计。但是,当前方法受到限制,因为它们要么建模具有固定数量对象的系统,要么使用基于图像的表示,其输出不是很容易解释并迅速累积错误。在本文中,我们提出了一个基于图神经网络的框架,以根据触点或关节对对象关系进行建模,以效应预测和参数估计推动操作。我们的框架在真实和模拟环境中都得到了验证,这些环境包含不同形状的多部分对象,这些对象通过不同类型的关节和具有不同质量的对象连接,并且在物理预测上的表现优于基于图像的表示。我们的方法使机器人能够预测并适应其观察场景时推动动作的效果。它也可用于使用从未看过的工具进行工具操作。此外,我们在基于机器人的硬盘拆卸的背景下证明了杠杆起作的6D效应预测。
强化学习 (RL) 在实现机器人自主习得复杂操作技能方面前景广阔,但在现实环境中实现这一潜力却充满挑战。我们提出了一个基于视觉的人机协同强化学习系统,该系统在一系列灵巧操作任务中展现出令人印象深刻的性能,包括动态操作、精密装配和双臂协调。我们的方法融合了演示和人工校正、高效的强化学习算法以及其他系统级设计选择,旨在学习在短短 1 到 2.5 小时的训练时间内即可实现近乎完美的成功率和快速循环时间的策略。我们证明,我们的方法显著优于模仿学习基线和先前的强化学习方法,平均成功率提高了 2 倍,执行速度提高了 1.8 倍。通过大量的实验和分析,我们深入了解了该方法的有效性,展示了它如何为反应式和预测式控制策略学习稳健且自适应的策略。我们的结果表明,强化学习确实能够在实际训练时间内直接在现实世界中学习各种基于视觉的复杂操作策略。我们希望这项工作能够激发新一代学习型机器人操作技术,促进工业应用和研究进步。视频和代码可在我们的项目网站 https://hil-serl.github.io/ 获取。
远程机器人技术旨在将人类的操作技能和灵巧性在任意距离和任意规模上转移到远程工作场所。透明的远程机器人系统可以实现自然而直观的交互。我们假设机器人系统的具身化(包括三个子组件:所有权、代理和自我定位)可实现最佳的感知透明度并提高任务性能。但是,这尚未得到直接研究。我们根据四个前提进行推理,并从文献中提出支持每个前提的发现:(1)大脑可以具身化非身体物体(例如,机器人手),(2)具身化可以通过介导的感觉运动交互来引发,(3)具身化对机器人系统和操作员身体之间的不一致具有鲁棒性,以及(4)具身化与灵巧的任务性能呈正相关。我们使用预测编码理论作为框架来解释和讨论文献中报告的结果。先前的大量研究表明,通过介导的感觉运动交互,可以在各种虚拟和真实的体外物体(包括假肢、化身和机器人)上诱导化身。此外,非人类形态也可以实现化身,包括细长的手臂和尾巴。根据预测编码理论,没有任何一种感觉方式对于建立所有权至关重要,多感官信号的差异不一定会导致化身的丧失。然而,多感官同步或视觉相似性方面的巨大差异可能会阻碍化身的发生。文献对化身和(灵巧的)任务表现之间的联系提供了较少的广泛支持。然而,用假手收集的数据确实表明了正相关性。我们得出结论,所有四个前提都得到了文献中的直接或间接证据的支持,这表明远程操纵器的化身可能会提高遥控机器人的灵巧表现。这值得进一步对遥控机器人中的化身进行实施测试。我们制定了第一套在远程机器人技术中应用具体化的指导方针,并确定了一些重要的研究课题。
如今,数字能力超越了技术能力,涵盖了在数字环境中有效解决问题和发挥作用所必需的广泛的认知、情感和社交能力(Ameen & Gorman,2009;Eshet-Alkalai,2004)。van Deursen 和 van Dijk(2010)的研究将数字技能分为操作技能、形式技能、信息技能、沟通技能、内容创建技能和战略技能,进一步扩展了这一范围,每种技能都强调了数字能力的复杂性。联合国教科文组织(2018)和世界银行最近的框架进一步将数字能力描述为不仅涉及基本的计算机使用和信息技术技能,还包括数字领导力和文化能力,这些对于组织内的数字化转型战略至关重要(Melhem & Jacobsen,2021)。数字能力不仅包括数字技能,还包括数字领导力和文化能力,这些都是有效实施任何数字化转型战略的关键要素。尽管与数字技能相关的方法和术语各异,数字能力评估的内容和方法也各有不同,但这些研究已经阐明了数字技能的性质、作用和核心要素。它们为个人和组织探索数字技术如何支持教学和学习以及制定帮助学习者提高数字技能以适应新条件的策略提供了重要基础。例如,Bartlett-Bragg(2017)和Varga-Atkins(2020a,2020b)都认为学生的学习受到技术相关因素的极大影响,例如课程设计中技术应用的整合以及学生之间以及学生与教师之间通过数字资源进行的互动。此外,研究人员还关注与数字能力相关的个人特征。 Thuy 提出了一个三因素框架,包括认知方面(例如,技术选择、信息搜索和关键信息评估)、技术方面(例如,对技术的技术理解)和社会方面(例如,通过在线社区提供支持和在数字环境中的自我保护)(Nhu Thuy,2022 年;Thuy 等人,2022 年)。
抽象未来的船员行星任务将在很大程度上取决于机器人在机器人到达前后的关键资产(例如返回车辆)的设置和计算的支持。有效地完成了各种各样的任务,我们设想使用一个异质团队在各种自治级别上被命令。这项工作为此类机器人团队提供了一个直观而多功能的命令概念,该机器人使用了船员船上的多模式机器人命令终端(RCT)。我们采用以对象为中心的知识管理,该管理存储有关如何处理机器人周围对象的信息。这包括有关检测,推理和与对象互动的知识。后者是以动作模板(ATS)的形式组织的,该模板允许任务的混合计划,即在符号和几何级别上进行推理,以验证可行性并找到相关动作的合适参数化。此外,通过将机器人视为对象,可以通过将技能嵌入ATS来轻松整合机器人。多机器人世界状态表示(MRWSR)用于实例化实际对象及其属性。当无法保证所有参与者之间的交流时,多个机器人的MRWSR的分散同步支持任务执行。为了说明机器人特异性感知属性,为每个机器人独立存储信息,并共享所有细节。此启用连续的机器人和命令专门决定,用于完成任务的信息。任务控制实例允许调整可用命令的可能性,以说明特定用户,机器人或方案。操作员使用RCT基于基于对象的知识代表来命令机器人,而MRWSR则用作行星资产的机器人 - 敏捷界面。选择要命令的机器人作为可用命令的顶级过滤器。通过选择一个对象实例,应用了第二个过滤器层。这些滤波器将多种可用命令降低到对操作员有意义且可操作的数量。机器人特定的直接远距离操作技能可通过各自的AT访问,并且可以绘制为可用的输入设备。使用机器人提供的每个输入设备提供的AT特定参数允许机器人 - 敏捷的使用情况以及不同的控制模式,例如。速度,模型介导或基于域的被动率控制。该概念将在Surface Avatar实验中的ISS上进行评估。关键字:太空遥控,机器人团队协作,可扩展的自主权,多模式用户界面,suversed自主权,远程介绍
通过体育教育让学习变得生动活泼从幼儿园到关键阶段5的所有学习者都参加每周的体育/身体发育课程。威尔本霍尔学校遵循国家课程,为更正式的学前班安排了调整后的课程。体育教育旨在以高能量培养学习者的健康、体能、力量、灵活性、协调性、大运动技能和计划能力。学习者获得、发展和应用运动、非运动和操作技能。学习者还可以通过他们喜欢的交流方式,获得丰富的机会来发展他们的感觉调节和沟通技巧。我们希望所有学习者都热爱自我照顾、健康和心理健康。课程旨在培养学习者的社交技能、团队合作精神以及对自己和他人的尊重。通过我们的体育伙伴计划,学习者有机会参加校际和校内比赛。学习者有机会参加各种各样的活动,包括游戏、体操、舞蹈、田径和户外教育。游泳在威尔本,学习者通过游戏获得水上信心,发展特定的游泳技巧和生存技能。游泳可以促进肌肉发育、心肺健康、姿势、协调和整体情绪调节,同时还能培养救生技能。更有能力的游泳运动员会参加比赛,通过游泳来增强耐力和体格。反弹疗法反弹疗法使用蹦床来提供运动和治疗性锻炼的机会。它是一种特定的方法、评估和计划,为有额外需求的广大用户提供增强的运动模式、治疗定位、锻炼和娱乐的机会。反弹疗法促进运动、促进平衡、根据需要增加/减少肌肉张力、促进放松、支持感觉统合、提高体格/运动耐受力,并有助于提高沟通技巧。课程由学校合格的反弹治疗师授课。我们从 1 年级到 10 年级遵循 Winstrada 反弹疗法计划。户外环境 Welburn Hall 的高品质户外环境包括大型游乐设备、攀爬架和秋千、修剪路径设备、自行车和三轮车、健身器材和丰富的绿地供体验。学习者可以使用自行车和三轮车来促进平衡和稳定性;运动器材,以促进基本运动技能;跨学科设备,将课堂学习带到户外。所有学习者都可以定期进入我们的林地区域,在那里他们可以参加各种各样的活动,包括建造窝棚、荡秋千/移动和射箭,在我们美丽宽敞的场地上按照我们的户外学习课程进行。我们的学校农场是我们户外环境的一部分,为其他类型的体育活动提供了机会。对于半正规学习者,体育课是跨学科的,使用的主题包括:比如我们的身体如何运动,采用更实用、更感官的方法。这也成为这些学生的调节工具。这些学习者还将利用学校内的户外区域来发展运动。