我们提出了一个控制理论框架来研究嵌入在模拟环境中的生物驱动人工神经系统(Sussillo,2014)的稳定性和可控性。从高层的角度来看,这个框架模拟了脑-机-环境的相互作用。我们首先考虑建模一个神经系统在虚拟环境中执行行为任务的问题。用控制理论的语言来说,神经系统与环境过程形成一个闭环反馈控制器。在第二步中,我们模拟神经系统的退化(例如在传感器或执行器处)并添加一个二级控制器(假肢),目的是恢复行为功能。在此过程中,我们考虑了大脑模型中的不确定性、非线性、测量噪声以及可观察状态和可控神经元的有限可用性。神经系统,从单个神经元到大规模群体,都以复杂的动态为特征,建模和控制可能具有挑战性(Ritt and Ching,2015)。经典控制理论(Khalil,2002;Brunton 和 Kutz,2017;Astrom 和 Murray,2020)为设计控制律提供了强大的工具,并在神经技术领域得到广泛应用,例如机械臂或计算机光标的闭环脑机接口 (BMI) 控制(Shanechi 等人,2016)、癫痫发作缓解的模型预测控制(Chatterjee 等人,2020)以及大脑在认知状态之间转换的机制解释(Gu 等人,2015)。闭环控制的一个特别成功的应用是通过深部脑刺激治疗帕金森病。在那里,可以使用基于阈值、比例积分或自调节控制器将病理性 β 波段振荡活动抑制在所需的目标水平(Fleming 等人,2020a、b)。 Schiffi (2011) 建立了一种将控制理论与神经科学和生物医学联系起来的典型方法,其中时空皮质动态模型与卡尔曼滤波器相结合,以估计未观察的状态并跟踪未知或漂移的模型参数。神经形态社区中的团队最近通过实现生物学上合理的操作和学习状态估计和控制规则(Friedrich 等人,2021;Linares-Barranco 等人,2022)以及神经形态 BMI 电路(Donati 和 Indiveri,2023)为这项工作做出了贡献,这有望在低功耗运行时实现更好的生物相容性。在上述许多方法中反复出现的一些挑战是线性(可实现)或低维系统的假设、对底层动态的知识或所需目标状态的可用性(如帕金森病的 DBS)。本文针对这些局限性做出了两项主要贡献。首先,我们建议一致使用动力系统来模拟大脑、环境、和假肢。除了统一方法论之外,这种选择还可以灵活地对不同程度的真实模型进行实验。在这里,我们展示了循环神经网络 (RNN) 作为神经系统和假肢的简单、高度可扩展的构建块的使用。其次,我们逐步消除了线性、系统知识、完全可观测性和监督目标状态的假设,通过使用强化学习 (RL)(Sutton 和 Barto,2020 年)进行系统识别和合成假肢控制器。
在 1956 年首次创造人工智能 (AI) 一词之前( Russell and Norvig,2016 ),艾伦·M·图灵 (Alan M. Turing) 构思了他著名的“图灵测试”。图灵通过测试试图探索计算机生成的反应是否能够在不知情的观察者看来与人类的反应区分开来( Kleppen,2023 )。如果计算机的回答与真实人类回答者的回答无法区分,则计算机“通过”了图灵测试。 2014 年,名为 Eugene Goostman 的聊天机器人( Warwick and Shah,2015 )成为第一台通过图灵测试的机器,代表了人工智能和机器学习的一个重要里程碑,为后续程序树立了标杆。按照目前的定义,人工智能是指设计用于执行原本需要人工干预的任务的计算机系统( Sutton and Barto,2018 )。早期的人工智能研究侧重于使用符号逻辑和基于规则的系统解决一般问题(Jordan and Mitchell,2015)。最初,人工智能研究受到了乐观的评价(Russell and Norvig,2016);然而,由于资金和计算能力不足等因素,研究工作停滞不前。在 20 世纪 90 年代和 21 世纪,由于神经网络、强化学习、计算机视觉和自然语言处理的出现(Jordan and Mitchell,2015),以及大数据、更便宜的计算和先进的计算算法的兴起,机器学习取得了重大进展。最近,深度学习人工智能模型(一种机器学习算法的分层网络,可以通过处理大量数据来提取越来越复杂的信息)已导致基于人工智能的研究取得重大突破(LeCun 等人,2015)。关于人工智能是否通过了图灵测试,仍然存在激烈的争论。如今,无论是在文本还是语音中,都有大量论断声称深度学习程序(例如 Chat GPT)和文本转语音程序能够生成与人类难以区分的输出,从而通过图灵测试(Biever,2023 年;Mai 等人,2023 年)。近年来,人工智能技术对医疗保健系统产生了尤为重要的变革性(Yu 等人,2018 年)。例如,在医学成像领域,深度学习算法已被用来以比放射科医生更高的准确度检测潜在异常(Liu 等人,2019 年)。自然语言处理使人工智能能够分析和提取患者病历中的相关健康数据,以协助准确诊断和辅助治疗计划(Kreimeyer 等人,2017 年)。可穿戴人工智能辅助监测系统已被用来追踪重要的患者健康指标,并可以提醒护理人员注意潜在的健康风险(Senders 等人,2018 年)。人工智能还被用于机器人辅助手术,以实现常规任务的自动化并提高手术的精准度(Hashimoto 等人,2018 年)。在制药行业,深度学习在药物开发中非常有用,甚至可以用来帮助医疗服务提供者根据患者的生物/遗传特征和个人需求确定对患者最有效的药物(Mak 等人,2023 年)。在临床实践中,聊天机器人和虚拟助手已被证明对患者教育、药物提醒和心理健康支持有益(Miner 等人,2016 年)。在精神保健领域,人工智能技术的应用同样具有影响力。具体来说,人工智能和机器学习工具已经
ZDENěKDVO营1‡*,Felix Kopp 2‡,Cait M. Costello 17,Jazmin S.Kemp 17,Hao Li 3‡,AnetaVrzalová1‡Martinaštěpánková1,IvetaBartoňková1 1,拉斯·U。 Beck 4,Sandhya Kortagere 11 *,Michelle C. Neary 12、Aneesh Chandran 13、Saraswathi Vishveshwara 13、Maria M. Cavalluzzi 14、Giovanni Lentini 14、Julia Yue Cui 15、Haiwei Gu 16、John C. March 17、Shirshendu Chaterjee 18、Adam Matson 19、Dennis Wright 20、Kyle L. Flannigan 21、Simon A. Hirota 21、R. Balfour Sartor 22、Sridhar Mani 3、* 1 来自帕拉茨基大学细胞生物学和遗传学系,奥洛穆茨 78371,捷克共和国;美国纽约州布朗克斯市阿尔伯特爱因斯坦医学院 2 生物化学系、3 医学、遗传学和分子药理学系及 4 病理学系,邮编 10461; 5 辛辛那提儿童医院医疗中心,俄亥俄州辛辛那提 45229; 6 宾夕法尼亚州立大学农业科学学院兽医与生物医学科学系,宾夕法尼亚州立大学公园,16802,美国; 7 斯洛伐克科学院 BMC 实验内分泌研究所,Dúbravská cesta 9, 845 05 布拉迪斯拉发,斯洛伐克共和国; 8 约翰霍普金斯大学生物系,马里兰州巴尔的摩 21218,美国; 9 北卡罗来纳大学化学系,北卡罗来纳州教堂山 27599; 10 纽约大学医学院病理学系,纽约,NY 10016; 11 美国德雷塞尔大学医学院微生物学和免疫学系,宾夕法尼亚州费城 19129; 12 纽约城市大学亨特学院化学系,纽约 NY 10065; 13 印度科学研究所分子生物物理学部,班加罗尔 560012,印度; 14 巴里阿尔多莫罗大学药学系 - 药学科学,意大利巴里 70125; 15 华盛顿大学环境与职业健康科学系,华盛顿州西雅图 98105; 16 亚利桑那州立大学健康解决方案学院代谢和血管生物学中心,亚利桑那州斯科茨代尔 85259; 17 康奈尔大学生物与环境工程系,纽约州伊萨卡 14853; 18 纽约市立大学城市学院数学系,纽约州,纽约州 10031; 19 康涅狄格大学儿科和免疫学系,康涅狄格州法明顿 06030; 20 康涅狄格大学药学系,康涅狄格州斯托尔斯 06269-3092; 21 卡尔加里大学生理学和药理学系,加拿大阿尔伯塔省卡尔加里 T2N 4N1; 22 胃肠生物学和疾病中心、医学部、胃肠病学和肝病学分部、北卡罗来纳大学教堂山分校,北卡罗来纳州教堂山 27599,美国 $ 现住址:圣埃德蒙学院,西隆,Old Jowai Road,西隆,梅加拉亚邦 793003,印度
Bascompte,J.,García,M。B.,Ortega,R.,Rezende,E.L。,&Pironon,S。(2019)。相互互动改造气候变化对整个生命树的植物的影响。科学进步,5,EAAV2539。Bond,W。J.(1994)。互助主义重要吗?评估策略和分散器破坏对植物灭绝的影响。伦敦皇家学会的哲学交易。系列B:生物科学,344,83–90。 Botha,P。W.(2017)。 没有鸟类的世界:对构粉鸟类对植物群落的生态意义的实验检验(博士学位论文)。 Stellenbosch大学。 Cahill,A。E.,Aiello-Lammens,M。E.,Fisher-Reid,M.C.,Hua,X.,Karanewsky,C.J.,Ryu,H。Y. B.,Warsi,O。,&Wiens,J。J. (2013)。 气候变化如何导致灭绝? 皇家学会会议录B:生物科学,280,20121890。 克拉克,A。 (1996)。 气候变化对生物体分布和演变的影响。 在I. 中 A. Johnston和A. F. Bennett(编辑。 ),动物和温度:表型和进化适应(卷 59,pp。 375–407)。 剑桥大学出版社。 A.,Wood,S.N.,Wuest,R。O.,&Hartig,F。(2018)。 模型平均生态学:贝叶斯,信息理论和战术方法的回顾。 生态专着,88,485–504。 Geerts,S。(2011)。系列B:生物科学,344,83–90。Botha,P。W.(2017)。 没有鸟类的世界:对构粉鸟类对植物群落的生态意义的实验检验(博士学位论文)。 Stellenbosch大学。 Cahill,A。E.,Aiello-Lammens,M。E.,Fisher-Reid,M.C.,Hua,X.,Karanewsky,C.J.,Ryu,H。Y. B.,Warsi,O。,&Wiens,J。J. (2013)。 气候变化如何导致灭绝? 皇家学会会议录B:生物科学,280,20121890。 克拉克,A。 (1996)。 气候变化对生物体分布和演变的影响。 在I. 中 A. Johnston和A. F. Bennett(编辑。 ),动物和温度:表型和进化适应(卷 59,pp。 375–407)。 剑桥大学出版社。 A.,Wood,S.N.,Wuest,R。O.,&Hartig,F。(2018)。 模型平均生态学:贝叶斯,信息理论和战术方法的回顾。 生态专着,88,485–504。 Geerts,S。(2011)。Botha,P。W.(2017)。没有鸟类的世界:对构粉鸟类对植物群落的生态意义的实验检验(博士学位论文)。Stellenbosch大学。Cahill,A。E.,Aiello-Lammens,M。E.,Fisher-Reid,M.C.,Hua,X.,Karanewsky,C.J.,Ryu,H。Y.B.,Warsi,O。,&Wiens,J。J.(2013)。气候变化如何导致灭绝?皇家学会会议录B:生物科学,280,20121890。克拉克,A。(1996)。气候变化对生物体分布和演变的影响。在I.A. Johnston和A. F. Bennett(编辑。 ),动物和温度:表型和进化适应(卷 59,pp。 375–407)。 剑桥大学出版社。 A.,Wood,S.N.,Wuest,R。O.,&Hartig,F。(2018)。 模型平均生态学:贝叶斯,信息理论和战术方法的回顾。 生态专着,88,485–504。 Geerts,S。(2011)。A. Johnston和A. F. Bennett(编辑。),动物和温度:表型和进化适应(卷59,pp。375–407)。剑桥大学出版社。A.,Wood,S.N.,Wuest,R。O.,&Hartig,F。(2018)。 模型平均生态学:贝叶斯,信息理论和战术方法的回顾。 生态专着,88,485–504。 Geerts,S。(2011)。A.,Wood,S.N.,Wuest,R。O.,&Hartig,F。(2018)。模型平均生态学:贝叶斯,信息理论和战术方法的回顾。生态专着,88,485–504。Geerts,S。(2011)。Dormann,C.,Calabrese,J.,Guillera-Arroita,G.,Matechou,E. B.Dormann,C。F.,Elith,J.,Bacher,S.,Buchmann,C.,Carl,G.,Carré,G.,Marquéz,J.,Gruber,B.,Lafourcade,B.,Leitão,Leitão,p。 J.(2013)。colnearity:对处理IT的方法和评估其性能的模拟研究的综述。coporivy,36,27–4J.,Graham,C.H.,Anderson,R.P.,Dudík,M.,Ferrier,S.,Guisan,A.,Hijmans,R.J.,Huettemann,F.,Leathwick,J.R. a。,Maninon,G.,Moritz,C.,Caure,M.,Cazawa,Yawa,YA,Overton,J.M. S.和Zimmermann,N。E.(2006)。 新颖的方法改善了从动力数据中对物种分布的预测。 生态学,29,129–1 Freeman,B。G.,Scher,M。N.,Ruiz-Gutierrez,V。和Fitzparick,J。W.(2018)。 气候变化会导致热带鸟类社区的上坡变化和山顶。 国家科学院会议录,115,11982–1 <非洲开普敦的鸟类授粉粉的分散和分散(博士学位论文)。 Stellenbosch大学。 Geerts,S。和Adedoja,O。 (2021)。 生物入侵,23,2961–2 (2020)。 (2012)。J.,Graham,C.H.,Anderson,R.P.,Dudík,M.,Ferrier,S.,Guisan,A.,Hijmans,R.J.,Huettemann,F.,Leathwick,J.R.a。,Maninon,G.,Moritz,C.,Caure,M.,Cazawa,Yawa,YA,Overton,J.M. S.和Zimmermann,N。E.(2006)。新颖的方法改善了从动力数据中对物种分布的预测。生态学,29,129–1Freeman,B。G.,Scher,M。N.,Ruiz-Gutierrez,V。和Fitzparick,J。W.(2018)。气候变化会导致热带鸟类社区的上坡变化和山顶。国家科学院会议录,115,11982–1<非洲开普敦的鸟类授粉粉的分散和分散(博士学位论文)。Stellenbosch大学。Geerts,S。和Adedoja,O。(2021)。生物入侵,23,2961–2(2020)。(2012)。授粉和繁殖增强了早期入侵者的侵入性潜力:南非的Lythrum sali-Caria(紫色散落)案例。Geerts,S.,Coetzee,A.,Rebelo,A。G.,&Pauw,A。授粉结构植物和南非角的植物和喂养鸟类群落:对保护植物 - 鸟类共同主义的影响。生态学研究,35,838–856。Geerts,S.,Malherbe,S。D.,&Pauw,A。南非角植物植物中的火花鸟类减少了花蜜喂养鸟类的鲜花。鸟类学杂志,153,297–301。Geerts,S。,&Pauw,A。(2009)。非洲阳光悬停以授粉的蜂鸟 - 授粉植物。Oikos,118,573–579。 Gérard,M.,Vanderplanck,M.,Wood,T。和Michez,D。(2020)。 全球变暖和植物 - 授粉不匹配。 生命科学的新兴主题,第4、77-86页。 Gómez-Ruiz,E。P.和Lacher,T。E.,Jr。(2019)。 气候变化,范围移动以及传粉媒介植物复合物的破坏。 科学报告,9,1-10。Oikos,118,573–579。Gérard,M.,Vanderplanck,M.,Wood,T。和Michez,D。(2020)。 全球变暖和植物 - 授粉不匹配。 生命科学的新兴主题,第4、77-86页。 Gómez-Ruiz,E。P.和Lacher,T。E.,Jr。(2019)。 气候变化,范围移动以及传粉媒介植物复合物的破坏。 科学报告,9,1-10。Gérard,M.,Vanderplanck,M.,Wood,T。和Michez,D。(2020)。全球变暖和植物 - 授粉不匹配。生命科学的新兴主题,第4、77-86页。Gómez-Ruiz,E。P.和Lacher,T。E.,Jr。(2019)。 气候变化,范围移动以及传粉媒介植物复合物的破坏。 科学报告,9,1-10。Gómez-Ruiz,E。P.和Lacher,T。E.,Jr。(2019)。气候变化,范围移动以及传粉媒介植物复合物的破坏。科学报告,9,1-10。