图2。我们的RoboExp系统的概述。我们介绍了由四个模块组成的RoboExp系统的全面概述。(a)我们的感知模块将RGBD图像作为输入,并产生相应的2D边界框,掩码,对象标签和关联的语义特征作为输出。(b)内存模块无缝将2D信息集成到3D空间中,从而实现了更一致的3D实例分割。此外,它通过合并实例构建了我们ACSG的高级图。(c)我们的决策模块是提议者和验证者的双重角色。提案者建议各种行动,例如开门和抽屉,而验证者评估每个动作的可行性,考虑到阻塞等因素。(d)动作模块执行提出的操作,使机器人组能够与环境有效相互作用。
在网络安全领域,恶意行为者可以使用深度伪造技术创建伪造内容并发起社会工程攻击,例如网络钓鱼或鱼叉式网络钓鱼活动。这些风险凸显了迫切需要采取强有力的对策来防范深度伪造产生的网络安全威胁和隐私泄露的有害影响。出现了大量漏洞和威胁。这些漏洞和威胁主要是由生成式人工智能和深度伪造技术的进步推动的。这些技术对语音和视频身份验证系统的完整性构成的迫在眉睫的威胁包括:
由于地球气候系统的差异,人类,动物和环境的持续苦难与可持续发展相去甚远。气候变化(CC)已被公认为是对粮食安全,环境可持续性的重大威胁之一,包括二十一世纪的人类健康发展(Seager等,2007; Adiaha et al。,2020),跨越跨越人际关系对气候变化(IPCC)的结论,这是人们的预期变化,这是一定的变化,这是一定的变化,这是一家人的变化,这是一定的变化。将来改变(IPCC,2007年)。即使在保护方案下,未来的气候变化也可能包括在某些地区的全球平均温度进一步升高(超过2°C -4°C),并在某些地区进行明显干燥(Seager等,2007),以及极端干旱,热极端和热浪的极端干旱频率和严重程度的增加(IPCC,2007年)。
想象一个未来的家庭机器人,旨在快速准备突破。该机器人必须有效执行各种任务,例如在橱柜中进行库存检查,从冰箱中获取食物,从抽屉里收集餐具,以及在食物覆盖物下剩下的剩菜。取得成功的关键是与环境互动和探索环境的问题,尤其是找到不立即可见的项目。将其配备这种功能对于机器人有效完成其日常任务至关重要。机器人探索和积极的感知长期以来一直在挑战机器人技术[1-16]。已经提出了各种技术,包括信息理论,好奇心驱动的探索,基于边境的甲基动物和模仿学习[1,13 - 13 - 15,17 - 25]。然而,以前的研究主要集中在探索静态环境上,仅通过更改导航设置中的观点,或仅限于与一小部分对象类别(例如抽屉)或一组封闭的简单操作(例如推动)的相互作用[26]。在这项工作中,我们研究了交互式场景的利用任务,目标是有效地识别所有对象,包括直接可观察到的对象,以及只能通过机器人和环境之间的相互作用发现的对象(见图1)。朝向这个目标,我们提出了一个新颖的场景表示,称为“动作条件” 3D场景图(ACSG)。然后,我们证明可以将交互式场景探索作为动作条件的3D场景图形结构和遍历的问题。与这些与专注于编码静态关系的常规3D场景图不同,ACSG同时编码空间关系和逻辑关联指示动作效应(例如,打开冰箱内部揭示了一个苹果)。解决互动场景探索带来了挑战:我们如何推理需要探索哪些对象,选择与它们互动的正确动作,以及对我们的探索发现的知识?
摘要:我们介绍了交互式场景探索的新颖任务,其中机器人自主探索环境并产生一个动作条件的场景图(ACSG),该图形图(ACSG)捕获了基础环境的结构。ACSG在场景中既说明了低级信息(几何和语义)以及高级信息(不同实体之间的动作条件关系)。为此,我们提出了机器人探索(RoboExp)系统,该系统结合了大型多模型(LMM)和明确的内存设计,以增强我们的系统功能。机器人的原因以及如何探索对象,通过交互过程累积新信息,并逐步构建ACSG。利用构造的ACSG,我们说明了机器人系统系统在促进涉及涉及刚性,清晰的对象,嵌套对象和可变形对象的各种真实的操纵任务方面的有效性和效率。项目页面:https://jianghanxiao.github.io/roboexp-web/
简单的摘要:母体提供的mRNA和蛋白质(称为母体因素)由斑马鱼中的14,000多个编码基因产生。他们在控制卵母细胞的形成和早期胚胎的发展方面扮演着独家角色。这些母体因素还可以补偿其相应的二胞基因产物功能的丧失。因此,消除母体和二氏基因产物对于阐明超过一半的斑马鱼基因的功能至关重要。但是,灭活母体因素总是具有挑战性的,因为传统的遗传方法在技术上要求或耗时。我们最近的工作建立了一种快速的条件敲除方法,以产生一个鱼类中产生母体或母体和鸡叶突变体。在这里,我们进一步测试了这种方法的可行性,以同时淘汰具有功能性冗余的两个母体基因。作为原理的证明,我们第一次成功地为DVL2和DVL3A基因生成了双母体突变体胚胎。通过这种方法获得的突变胚胎中的细胞运动缺陷模仿了在先前报道的镶嵌策略之后进行了几个月耗时筛查后产生的真正突变胚胎。因此,该方法有可能加快寄生虫基因的功能研究。
摘要 - 我们介绍了Dexo,这是一种新型的手部外骨骼系统,旨在教机器人灵巧的操纵。与传统的远程操作系统不同,由于缺乏触觉反馈和可扩展性的限制,Dexo可以通过运动镜像和力透明性来实现自然和直观的控制。系统的被动外骨骼设计使人类用户可以直接控制机器人的灵巧手,传输精确的运动和强制数据,以在实际环境中学习复杂的任务。配备了集成的触觉传感器,Dexo捕获了高保真互动数据,促进了操纵学习,而无需昂贵的硬件或仔细的工程。我们评估了跨多个灵巧任务的系统,证明了其复制人类水平的操纵的能力及其扩展收集高质量演示数据的潜力,以培训高级机器人学习模型。与现有的远程处理方法相比,我们的实验显示了任务成功率的显着提高,这使得Dexo成为推进机器人敏捷性的强大工具。
摘要 - 本文介绍了Robodexvlm,这是一个用于机器人任务计划的创新框架,并掌握了配备灵敏手的协作操纵器的检测。以前的方法着眼于简化且有限的操纵任务,这些任务通常忽略了以长期培训方式抓住各种对象相关的复杂性。相比之下,我们提出的框架利用灵巧的手能够抓住不同形状和大小的对象,同时根据自然语言命令执行任务。所提出的方法具有以下核心组件:首先,设计了一个具有任务级恢复机制的稳健任务计划器,该机制设计了视觉语言模型(VLMS),这使系统能够解释和执行长序列任务。第二,基于机器人运动学和正式方法提出了语言引导的灵活掌握感知算法,该方法是针对带有多种物体和命令的零摄像的灵巧操作量身定制的。全面的实验结果验证了Robodexvlm在处理长层场景和执行灵巧抓握方面的有效性,适应性和鲁棒性。这些结果突出了该框架在复杂环境中运行的能力,展示了其进行开放式灵巧操作的潜力。我们的开源项目页面可以在https://henryhcliu.github.io/robodexvlm上找到。
使用外部刺激来操纵细胞功能的能力是研究复杂生物学现象的有力策略。调节细胞环境功能的一种方法是分裂蛋白。在这种方法中,生物活性蛋白或酶是碎片的,因此仅在特定刺激下重新组装。尽管有许多工具可诱导这些系统,但自然已经提供了扩展分裂蛋白质工具箱的其他机制。在这里,我们展示了一种使用磁刺激来重构分裂蛋白的新方法。我们发现电磁感知基因(EPG)因磁场刺激而改变构象。通过将某个蛋白质的分裂片段融合到EPG的两个末端,可以将片段重新组合成由于构象变化而引起的磁刺激的功能蛋白。我们用三种独立的分裂蛋白显示了这种作用:纳米核,APEX2和单纯疱疹病毒型1胸苷激酶。我们的结果首次表明,只有用磁场才能实现分裂蛋白的重建。我们预计这项研究将是未来磁性诱导的分裂蛋白设计的起点,用于细胞扰动和操纵。通过这项技术,我们可以帮助扩展分裂蛋白质平台的工具箱,并可以更好地阐明复杂的生物系统。
摘要 - 在机器人技术中限制模仿学习的关键瓶颈是缺乏数据。在移动操作中,此问题更为严重,由于缺乏可用且易于使用的远程操作界面,收集演示比固定操作更难。在这项工作中,我们演示了Telemoma,这是一种通用和模块化的移动操纵器近亲界面的界面。Telemoma统一了多个人类界面,包括RGB和深度摄像机,虚拟现实控制器,键盘,操纵杆等,以及其任何组合。在其更容易访问的版本中,Telemoma使用Simply Vision(例如RGB-D摄像头)进行了作品,从而降低了人类提供移动操作演示的入口栏。我们通过在模拟和现实世界中详细介绍了几个现有的移动操纵器(Pal Tiago ++,Toyota HSR和Fetch)来证明远程信息瘤的多功能性。我们通过训练模仿学习政策,用于涉及同步全身运动的移动操纵任务,证明了用远程瘤收集的示范质量。最后,我们还表明,Telemoma的Teleperation Channel可以在现场进行远程操作,查看机器人或遥控器,通过计算机网络发送命令和观察,并进行用户研究以评估新手用户学习与我们系统启用人类接口组合的不同组合的新手用户的容易。我们希望电视瘤成为社区使研究人员能够收集全身移动操作演示的有用工具。有关更多信息和视频结果,https://robin-lab.cs.utexas.edu/telemoma-web/。