模仿学习使代理可以在绩效指标未知并且未指定奖励信号时从专家演示中学习。标准模仿方法通常不适用于学习者和专家的参议员能力不匹配和示威的情况,并被未观察到的混杂偏见污染。为了应对这些挑战,已追求因果模仿学习的最新进步。但是,这些方法通常需要访问可能并非总是可用的基本因果结构,从而带来实际挑战。在本文中,我们研究了使用部分识别的规范马尔可夫决策过程(MDP)内的强大模仿学习,即使在系统动力学不是从混杂的专家演示中确定系统动力学的情况下,也允许代理商实现专家性能。特定的,首先,我们从理论上证明,当MDP中存在未观察到的混杂因素(UCS)时,学习者通常无法模仿专家的表现。然后,我们在部分能够识别的设置中探索模仿学习 - 从可用的数据和知识中,转移分布或奖励功能是无法确定的。增强了著名的Gail方法(Ho&Ermon,2016年),我们的分析导致了两种新颖的因果模仿算法,这些算法可以获得有效的政策,以确保实现专家绩效。
我们从专家演示中解决了政策学习的问题,而无需奖励。在这个领域的一个核心挑战是,由于分配转移,环境随机性或复杂错误的问题,这些政策在部署后失败。对抗性模仿学习可以减轻此问题,但需要额外的固定培训样本以进行稳定,这由于学习效率低下和较高的样本复杂性而在现实领域提出了挑战。解决这个问题的一种方法是学习环境的世界模型,并使用综合数据进行政策培训。尽管在先前的工作中取得了成功,但我们认为这是由于学习模型和真实环境之间的其他分布变化而是最佳的。相反,我们将模仿学习作为一个微调问题,而不是纯粹的加固学习。将理论连接到离线RL和微调算法,我们认为标准的在线世界模型算法不太适合模仿学习问题。我们得出了一种原则上的保守优化,并从经验上证明了它从高维原始像素观测值中的两个非常有挑战性的操纵环境中提高了性能。我们从图像中设置了弗兰加厨房环境上的最新性能,在没有奖励标签上只需要10个演示,并解决了复杂的敏捷性ma-nipulation任务。关键字:模仿学习,基于模型的学习,世界模型,微调
研究文章|行为/认知经颅交流电流刺激在正面眼场上刺激模仿视觉处理的注意调节https://doi.org/10.1523/jneurosci.1510-23.2024收到:2023年8月7日收到:2024年4月16日接受:2024年4月17日接受:2024年4月17日,2024年4月17日
媒介蚊子传播各种医学上重要的致病病原体(疾病控制中心2021)。矢量控制是预防人类蚊子传播疾病的主要方法。然而,由于杀虫剂抗性的全球发病率不断增加,并担心化学农药对非目标生物的潜在负面影响,当前的蚊子控制方法达到了可持续性的局限性,需要开发和引入创新的矢量控制策略(AIRS和BartholoMay 2017,疾病控制疾病,对疾病控制20221)。蚊子基因组项目(Holt等人2002,Nene等。 2007)促进了蚊子生物学新方面的研究,包括医学上重要的艾园(登革热,Zika,chikungunya和黄热病载体)的功能性遗传研究,以及肛门(疟疾载体)人类疾病媒介(疾病控制中心2021)。 这些进步加剧了以基因为中心的新型载体控制策略的发展,导致研究的研究重点是鉴定潜在的基因靶向载体控制基因靶标,以及操纵蚊子基因在实验室中以及在现场中的作用的方法。 RNAi,促进实验室中蚊子基因的功能表征,2002,Nene等。2007)促进了蚊子生物学新方面的研究,包括医学上重要的艾园(登革热,Zika,chikungunya和黄热病载体)的功能性遗传研究,以及肛门(疟疾载体)人类疾病媒介(疾病控制中心2021)。这些进步加剧了以基因为中心的新型载体控制策略的发展,导致研究的研究重点是鉴定潜在的基因靶向载体控制基因靶标,以及操纵蚊子基因在实验室中以及在现场中的作用的方法。RNAi,促进实验室中蚊子基因的功能表征,
摘要 —特征模仿网络 (FIN) 是一种神经网络,首先训练它们近似于闭式统计特征(例如熵),然后嵌入到其他网络中以增强其性能。在这项工作中,我们首次对 FIN 在生物医学图像处理任务中的应用进行评估。我们首先训练一组 FIN 来模仿六种常见的放射组学特征,然后比较较大网络(嵌入和不嵌入 FIN)在三个实验任务中的表现:从 CT 扫描中检测 COVID-19、从 MRI 扫描中分类脑肿瘤以及从 MRI 扫描中分割脑肿瘤。我们发现,与没有 FIN 的基线网络相比,嵌入 FIN 的模型在这三个任务中都提供了增强的性能,即使这些基线网络具有更多参数。此外,我们发现,与具有相似或更大表示能力的基线网络相比,嵌入 FIN 的模型收敛速度更快、更一致。我们的实验结果证明,FIN 可以为各种其他生物医学图像处理任务提供最先进的性能。
摘要:基于miRNA的疗法代表了一种适用于各种医学领域的创新且有希望的策略,例如组织再生和许多疾病的治疗,包括癌症,心血管疾病和病毒感染。miRNA是一组小的非编码RNA,在调节转录后水平的基因表达中起着关键作用,并调节维持细胞和组织稳态的几种信号通路。《评论中讨论的临床试验先驱了一个新的miRNA治疗时代,尤其是在组织工程中,使用合成的外源模拟物miRNA和反义miRNA(抗MIRNA)来恢复组织健康。本综述概述了miRNA的生物发生,作用机理,调节和潜在应用,然后检查与治疗性miRNA的运输和交付相关的挑战。使用病毒和非病毒载体防止降解并确保有效的miRNA递送的可能性突出显示,重点是新兴使用3D生物材料脚手架的优势来递送模拟物miRNA和抗MIRNA,以促进组织修复和重新生产。最后,审查评估了miRNA激活的支架疗法的当前景观,这些疗法在骨,软骨和皮肤组织中的临床前和临床研究上,强调了它们作为个性化医学中有前途的前沿的出现。
摘要 - 从人类技能获取的机制中汲取灵感,模仿学习表现出了非凡的表现。近年来,基于模型的模仿学习与机器学习和控制理论相结合,并完整地开发并适应了非结构化的环境。但是,双臂任务的大多数结果都集中在相对安全和稳定的环境上,这些环境仍然缺乏强大的概括技能。在这项工作中,我们为双臂移动任务提出了一个新颖的健壮模仿学习框架。在演示期间,我们提出了一种共同的远程操作策略,该策略积极帮助操作员远程执行双臂任务,旨在减少操作困难和压力。在建模和概括期间,我们提出了一个耦合的线性参数变化的动力学系统(CLPV-DS),该参数具有保护和恢复状态免受环境中可能干扰的能力,同时保持良好的跟踪准确性和稳定性。为了解决由干扰引起的盒装滑动的风险,我们进一步引入了相互的以下策略,使手臂能够合适地跟随彼此,同时保持适当的接触力。考虑到复杂的概括环境中的潜在障碍,我们实时引入了一种反应性障碍策略,以确保全球渐近稳定性。最后,我们通过在2D模拟和实体机器人实验中的全面测试来验证了所提出的框架的有效性。
摘要 - 由于计算机视觉的最新进展,视觉模仿学习在学习一小部分视觉观察中学习的单人操纵任务方面取得了令人印象深刻的进步。然而,从双人视觉演示中学习双人协调策略和复杂的对象关系,并将其推广到新颖的混乱场景中的分类对象仍然是尚未解决的挑战。在本文中,我们将以前的有关基于关键的视觉模仿学习(K-VIL)[1]的工作扩展到了双人操作任务。拟议的BI-KVIL共同提取对象和手,双人协调策略以及子符号任务代表的所谓混合主奴隶关系(HMSR)。我们的双人任务表示形式是以对象为中心的,无独立的和视点为主的,因此可以很好地归因于新颖场景中的分类对象。我们在各种现实世界中评估了我们的方法,展示了其从少数人类演示视频中学习细粒度的双人操作任务的能力。视频和源代码可从https://sites.google.com/view/bi-kvil获得。
运动技能,尤其是笔迹等精细的运动技能,在学术追求和日常生活中起着至关重要的作用。传统的教授这些技能的方法,尽管有效,但可能会耗时且不一致。随着机器人技术和人工智能等广告技术的兴起,对自动化此类教学过程的兴趣越来越多。在这项研究中,我们研究了一位虚拟AI老师在模拟人工教育技术中进行运动技能的技术的潜力。我们介绍了一个AI教师模型,该模型捕获了人类构造的独特特征。使用辅助学习环境对模仿教师学习者的互动,我们测试了AI模型针对四个指导假设进行了测试,强调了能够证明的学习者表现,提高了技能掌握率,并降低了学习成果的变异性。我们的发现,在合成学习者上得到验证,揭示了所有测试过的假设的重大证明。值得注意的是,我们的模型在不同的学习者和设置中展示了鲁棒性,并展示了对笔迹的适应性。这项研究强调了将模仿和巩固学习模型与机器人技术相结合的潜力,以彻底改变关键运动技能的教学。