城市和城郊农业系统微生物管理博士后职位多伦多大学士嘉堡分校微生物组操作实验室 ( https://www.utsc.utoronto.ca/labs/microbiomemanipulationlab/ ) 正在寻找一名博士后研究员,研究多伦多地区农场微生物管理的潜力。选定的候选人将参与由 SSHRC-NSERC 资助的大型多机构项目,包括学术合作伙伴和外部合作伙伴,该项目旨在开发优化城市农业的有效流程,同时最大限度地减少温室气体排放。在这个项目中,选定的候选人将评估土壤性状、微生物来源和整个微生物组选择方法之间的联系,以指导土壤微生物组的功能轨迹。微生物组选择方法将考虑文献中的最佳建议、常见的农场方法(例如堆肥茶开发)以及选定候选人自己的想法。还将有机会研究与微生物管理有关的此合作项目的其他方面,包括微生物流入城市系统和不同植物对微生物组修饰的敏感性。除了项目目标之外,候选人还将有大量机会探索自己的想法并制定独立的研究计划。还将有机会与我们小组的其他成员、UTSC 的其他小组以及我们网络内的其他研究小组合作,并开展各种专业发展活动。我们的实验室致力于公平、多样性和包容性,我鼓励来自各行各业的候选人申请。整体审查用于评估每个申请人的独特优势。最低工资为 55,000 美元 + 福利,如果候选人至少获得一些独立资金,则有可能增加(例如 https://www.utsc.utoronto.ca/grad-edu/utsc-postdoctoral-fellowship-program )。主要职责
摘要:最近的作品表明,使用蒙版自动编码器(MAE)在以自我为中心的数据集上进行视觉预处理可以改善下游机器人技术任务的概括[1,2]。但是,这些方法仅在2D图像上预处理,而许多机器人应用程序需要3D场景的理解。在这项工作中,我们提出了3D-MVP,这是一种使用蒙版自动编码器进行3D多视图预处理的新方法。我们利用机器人视图变压器(RVT),该变压器(RVT)使用多视图变压器来理解3D场景并预测抓地力姿势动作。我们将RVT的多视图变压器拆分为视觉编码器和动作解码器,并在大规模3D数据集(例如Objaverse)上使用蒙版自动编码预处理其视觉编码器。我们在一组虚拟机器人操纵任务上评估了3D-MVP,并证明了基准的性能提高。我们还在真正的机器人平台上显示出令人鼓舞的结果,并具有最小的填充。我们的结果表明,3D感知预处理是提高样品效率和基于视力的机器人操纵策略的有前途的方法。我们将发布代码和验证模型,以促进未来的研究。
免责声明 对于需要法律、税务或其他适当专业建议的事项,我们无意提供任何意见、建议或解释。我们假定此类意见、建议或解释已经或将在本报告范围之外获得。在某些情况下,如果缺乏对所提供的历史和预测信息的独立验证,可能会限制潜在的调查结果。最终数据可能会存在限制或局限性,从而影响我们报告的准确性,因此我们在报告中注明了我们所获得数据的来源,但不对其准确性承担任何责任。这项工作的范围不负责实施调查结果,因此,实现所确定的潜在效率的能力取决于实施机会的能力。我们的工作不会也不会导致表达意见或其他形式的保证。
强化学习 (RL) 在实现机器人自主习得复杂操作技能方面前景广阔,但在现实环境中实现这一潜力却充满挑战。我们提出了一个基于视觉的人机协同强化学习系统,该系统在一系列灵巧操作任务中展现出令人印象深刻的性能,包括动态操作、精密装配和双臂协调。我们的方法融合了演示和人工校正、高效的强化学习算法以及其他系统级设计选择,旨在学习在短短 1 到 2.5 小时的训练时间内即可实现近乎完美的成功率和快速循环时间的策略。我们证明,我们的方法显著优于模仿学习基线和先前的强化学习方法,平均成功率提高了 2 倍,执行速度提高了 1.8 倍。通过大量的实验和分析,我们深入了解了该方法的有效性,展示了它如何为反应式和预测式控制策略学习稳健且自适应的策略。我们的结果表明,强化学习确实能够在实际训练时间内直接在现实世界中学习各种基于视觉的复杂操作策略。我们希望这项工作能够激发新一代学习型机器人操作技术,促进工业应用和研究进步。视频和代码可在我们的项目网站 https://hil-serl.github.io/ 获取。
摘要 - 与环境对象的互动可以引起外部感受和本体感受信号的重大变化。然而,水下软操作器中外部感受传感器的部署遇到了许多挑战和约束,从而对其感知能力施加了限制。在本文中,我们提出了一种基于学习的新型表达方法,该方法利用内部本体感受信号并利用软执行器网络(SAN)的原理。def> div>趋势倾向于通过水下软操作器中的sans传播,并且可以通过本体感受传感器检测到。我们从传感器信号中提取特征,并开发完全连接的神经网(FCNN)基于分类器以确定碰撞位置。我们已经构建了一个培训数据集和一个独立的验证数据集,目的是培训和验证分类器。使用独立的验证数据集以97.11%的精度识别出碰撞位置的实验结果,该碰撞位置在水下软机器人的感知和控制范围内表现出潜在的应用。
摘要 — 最近,在多模态大型语言模型 (MLLM) 进步的推动下,视觉语言动作模型 (VLAM) 被提出以在机器人操作任务的开放词汇场景中实现更好的性能。由于操作任务涉及与物理世界的直接交互,因此确保此任务执行过程中的鲁棒性和安全性始终是一个非常关键的问题。在本文中,通过综合当前对 MLLM 的安全性研究以及物理世界中操作任务的具体应用场景,我们全面评估了面对潜在物理威胁的 VLAM。具体而言,我们提出了物理脆弱性评估管道 (PVEP),它可以结合尽可能多的视觉模态物理威胁来评估 VLAM 的物理鲁棒性。PVEP 中的物理威胁具体包括分布外攻击、基于排版的视觉提示和对抗性补丁攻击。通过比较 VLAM 在受到攻击前后的性能波动,我们提供了关于 VLAM 如何应对不同物理安全威胁的通用分析。我们的项目页面位于此链接
本文提出了一种针对移动操纵器系统(MMS)的新控制策略,该策略集成了基于图像的视觉伺服(IBVS),以解决操作限制和安全限制。基于控制屏障功能(CBF)的概念的拟议方法提供了一种解决方案,以应对各种操作挑战,包括可见性约束,操纵器关节限制,预定义的系统速度界限和系统动态不确定性。提出的控制策略是两层结构,其中第一级CBF-IBVS控制器计算控制命令,并考虑到视野(FOV)约束。通过利用空空间技术,这些命令被转移到MMS的联合配置,同时考虑系统操作限制。随后在第二级中,用于整个MMS使用的CBF速度控制器对关节级的命令进行跟踪,以确保遵守预定义的系统的速度限制以及整个组合系统动力学的安全性。拟议的控制策略提供了出色的瞬态和稳态响应,并提高了对干扰和建模不确定性的弹性。此外,由于其计算复杂性较低,因此可以在板载计算系统上轻松实现,从而促进实时操作。通过仿真结果说明了拟议策略的有效性,与常规IBVS方法相比,该结果揭示了增强的性能和系统安全性。结果表明,所提出的方法可有效解决移动操纵器系统的具有挑战性的操作限制和安全限制,使其适合于实际应用。
摘要:了解机器人必须在给定开放式任务中的非结构化环境中操纵对象。但是,现有的视觉负担预测方法通常仅在一组预定义的任务上手动注释的数据或条件。我们介绍了无监督的负担蒸馏(UAD),这是一种将负担知识从基础模型提炼到任务条件的辅助模型的方法,而无需任何手动注释。通过利用大型视觉模型和视觉模型的互补优势,UAD自动注释了一个具有详细的<指令,Visual Profiseance> Pairs的大规模数据集。仅在冷冻功能上训练一个轻巧的任务条件解码器,尽管仅在模拟中接受了对渲染的对象的培训,但UAD对野外机器人场景和各种人类活动表现出显着的概括。UAD提供的可负担性作为观察空间,我们展示了一项模仿学习政策,该政策证明了有希望的概括,可以看到对象实例,对象类别,甚至在培训大约10次演示后进行任务指令的变化。项目网站:https://gpt-affordance.github.io/。