抽象设计机器人代理执行开放词汇任务一直是机器人技术和AI的长期目标。最近,大型语言模型(LLM)在创建用于执行开放词汇任务的机器人代理方面取得了令人印象深刻的结果。但是,在不确定性的存在下为这些任务进行规划是具有挑战性的,因为它需要“经过思考链”推理,从环境中汇总信息,更新状态估计以及基于更新的状态估计来生成操作。在本文中,我们提出了一种使用LLM的部分可观察到的任务的交互式计划技术。在拟议的方法中,LLM用于使用机器人从环境中收集丢失的信息,并从收集的观测值中推断出基本问题的状态,同时指导机器人执行所需的操作。我们还通过自我教学使用了精致的Llama 2模型,并将其性能与像GPT-4这样的预训练的LLM进行比较。在仿真和现实环境中的几个任务上都证明了结果。
摘要在未来的智能家居中,机器人有望处理日常任务,例如烹饪,取代人类的参与。为机器人自主获得此类技能是高度挑战的。因此,现有方法通过通过监督学习来控制真实的机器人和培训模型来解决此问题。但是,长途任务的数据收集可能非常痛苦。为了解决这一挑战,这项工作着重于从人类视频中生成动作序列的任务,展示了烹饪任务。通过现有方法为此任务而生成的动作序列的质量通常不足。这部分是因为现有方法不会有效地处理每个输入模式。为了解决此问题,我们提出了Avblip,这是一种用于生成机器人动作序列的多模式LLM模型。我们的主要贡献是引入多模式编码器,该编码器允许多种视频,音频,语音和文本作为输入。这使下一个动作的生成可以考虑到人类的语音信息和环境产生的音频信息。结果,在所有标准评估指标中,所提出的方法优于基线方法。
1) Kawaguchi Y, Urushisaki A, Seki S, Hori T, Asanuma Y, Kimura T. 骨化评估
The SBTi would also like to acknowledge the members of the BVCM Expert Advisory Group and the SBTi partner organization Working Group: Alexander Farsan, Angela Anderson, Amir Safaei, Amir Sokolowski, Andika Putraditama, Anita Otubu, Anshari Rahman, Bhaskar Singh Karky, Bogolo Kendo, Schewendo, Bradley, Candac, Candac Nout, Shen her Silori, Chidi Oti-Obihara, Daniel Zarin, David Burns, Derik Broekhoff, Diksha Pillay, Disha Agarwal, Donna Lee, Duan Maosheng, Elijah Innes-Wimsatt, Frances Seymour, Gabriel Chaves Barboza, Gilles Dufrasne, Hans Näsman, Hilda Galt, Hilde Holly, John Holly, John Holler, Grandny , Karol Gobczynski, Katie Lebling, Kelley Kizzier, Kerry Constabile, Keyvan Macedo, Kuki Soejachmoen, Lene Peterson, Mark Kenber, Meera Atreya, Melissa Gallant, Morten Rossé, Nguyen Phi Hung, Paola Delgado Luna, Patricia Pinho, Paul Vermaak, Pedro Barrie, Robert Hori, Robert Hori, Robert Hori, Horian hana Zariwala, Simon Petley, Stephan Singer, Tanja Havemann, Tereza Bicalho, Thiago Chagas, Tim Juliani, Tim Young, Xiaolu Zhao, Zeke Hausfather.
我们在Hori Zon上有几项活动。职业道路研讨会将于6月6日至7日在芝加哥的IMSI举行,如果您提名学生为F-Gap th Ey提名学生,并且您可以提名工作。请注意,有一个新的Pro Tocol,导师必须在上述IMSI网站上分别为WOR KSHOP提名的学生。我们希望这将是有史以来最大的FGAP COH。为我们举行的另一个大事件是我们是五月份的simons基金会的一部分,这将汇集许多利益相关者(MS,ASA,ASA,MAA,SIAM,AMATYC,NAM,NAM,CAARMS,CAARMS,AWM,AWM,EDGE,TPSE MATH,TPSE MATH,CBMS…...在定量科学中。这是一个令人兴奋的发展,会议有很多希望。
CE Harman、A. Lenardic、E. Pall ́e、CT Reinhard、EW Schwieterman、J/ Schneider、HB Smith ‡、M. Tamura、D. Angerhausen、G. Arney、VS Airapetian、NM Batalha、CS Cockell、L. Cronin、R. Deitrick、A. Del Genio、T. Fisher‡、DM Gelino、JL Grenfell、HE Hartnett、S. Hegde、Y. Hori、Betu ̈ l Kacar、J. Krissansen-Totten、T. Lyons、WB Moore、N. Narita、SL Olson、H. Rauer、TD Robinson、S. Rugheimer、N. Siegler、EL Shkolnik、KR Stapelfeldt、SI Walker。 (2018)太阳系以外的生命:远程可检测的生物特征。提交给 2018 年美国国家科学院研究的白皮书:寻找宇宙生命的天体生物学科学策略。arXiv 预印本:https://arxiv.org/abs/1801.06714 2. S. Domagal-Goldman、J. Bean、E. Kempton 和 SI Walker (2018) 统计搜索
作物疾病大流行通常是由无性繁殖的植物病原体的克隆谱系驱动的。尽管遗传变异有限,并且在没有性重组的情况下,这些克隆病原体如何不断地适应其宿主。在这里,我们揭示了在爆炸真菌斑点的大流行克隆谱系中的水平染色体转移的多个实例(Syn。pyricularia)oryzae。我们确定了一个Hori Zontly转移的1.2MB辅助迷你染色体,该小染色体在大米爆炸真菌谱系和谱系感染印度鹅(Eleusine Indiona)的Oryzae分离株之间非常保守,这是一种经常生长的野生草,在耕种陶瓷毛皮的附近生长。此外,我们表明,这种迷你染色体是通过克隆大米爆炸株通过至少九个不同的转移事件水平获取的。这些发现建立了水平的迷你染色体转移,作为促进不同宿主相关的爆炸真菌谱系中遗传交换的一种机制。我们提出,感染野草的爆炸真菌是遗传储层,这些储层驱动了困扰谷物作物的大流行克隆谱系的基因组进化。
作物疾病大流行通常是由无性繁殖的植物病原体的克隆谱系驱动的。尽管遗传变异有限,并且在没有性重组的情况下,这些克隆病原体如何不断地适应其宿主。在这里,我们揭示了在爆炸真菌斑点的大流行克隆谱系中的水平染色体转移的多个实例(Syn。pyricularia)oryzae。我们确定了一个Hori Zontly转移的1.2MB辅助迷你染色体,该小染色体在大米爆炸真菌谱系和谱系感染印度鹅(Eleusine Indiona)的Oryzae分离株之间非常保守,这是一种经常生长的野生草,在耕种陶瓷毛皮的附近生长。此外,我们表明,这种迷你染色体是通过克隆大米爆炸株通过至少九个不同的转移事件水平获取的。这些发现建立了水平的迷你染色体转移,作为促进不同宿主相关的爆炸真菌谱系中遗传交换的一种机制。我们提出,感染野草的爆炸真菌是遗传储层,这些储层驱动了困扰谷物作物的大流行克隆谱系的基因组进化。