现代神经假体现在可以恢复失去说话或移动能力的患者的沟通。但是,这些侵入性装置需要神经外科固有的风险。在这里,我们引入了一种非侵入性方法来解码脑活动中句子的产生,并在35名健康志愿者的队列中证明了其功效。为此,我们介绍了Brain2Qwerty,这是一种新的深度学习架构,训练了从电 - (EEG)或磁刻板图(MEG)解码句子,而参与者则在Qwerty键盘上简要记忆地进行了记忆。MEG,Brain2Qwerty平均达到32%的字符率(CER),并且基本上超过了EEG(CER:67%)。对于最佳参与者来说,该模型达到了19%的CER,并且可以在培训集之外完美地解码各种句子。误差分析表明解码取决于运动过程,但对印刷错误的分析表明,它也涉及更高级别的认知因素。总的来说,这些结果缩小了侵入性和非侵入性方法之间的差距,因此为开发安全的脑部计算机界面开辟了道路。
软件工程涉及编写新代码或编辑现有代码。最近的研究已经调查了与阅读和理解代码相关的神经过程——然而,我们缺乏对代码编写背后的人类认知过程的透彻理解。虽然散文阅读和写作已经得到了彻底的研究,但同样的研究还没有应用于代码编写。在本文中,我们利用功能性脑成像来研究代码编写与散文写作的神经表征。我们提出了第一项人类研究,其中参与者在接受功能性磁共振成像 (fMRI) 脑部扫描时编写代码和散文,使用全尺寸 fMRI 安全的 QWERTY 键盘。我们发现代码编写和散文写作是截然不同的神经任务。虽然散文写作需要与语言相关的大量左半球活动,但代码编写需要更多右半球的激活,包括与注意力控制、工作记忆、规划和空间认知相关的区域。这些发现与研究代码和散文理解的现有工作不同。相比之下,我们提出了第一个证据,表明代码和散文写作在神经层面上有很大不同。
[1] Xiaojun Bi、Barton A. Smith 和 Shumin Zhai。2010 年。准 Qwerty 软键盘优化。在 SIGCHI 计算机系统人为因素会议论文集(美国佐治亚州亚特兰大)(CHI '10)。美国计算机协会,纽约,纽约州,美国,283–286 页。https://doi.org/10.1145/1753326.1753367 [2] Stephane Champely、Claus Ekstrom、Peter Dalgaard、Jeffrey Gill、Stephan Weibelzahl、Aditya Anandkumar、Clay Ford、Robert Volcic、Helios De Rosario 和维护者 Helios De Rosario。[nd]。软件包“pwr”。([nd])。[3] Mike WL Cheung。 2014. 使用三级荟萃分析对依赖效应大小进行建模:一种结构方程建模方法。《心理方法》19,2(2014),211。[4] Andy Cockburn、Carl Gutwin 和 Alan Dix。2018. 不再 HARK:关于 CHI 实验的预注册。在 2018 年 CHI 计算机系统人为因素会议论文集(加拿大魁北克省蒙特利尔)(CHI '18)。美国计算机协会,美国纽约州纽约,1-12。https://doi.org/10.1145/3173574.3173715 [5] Jacob Cohen。1988. 行为科学的统计功效分析。(第 2 版)。Taylor & Francis 有限公司。[6] Geoff Cumming。 2013. Cohen 的 d 需要易于解释:对 Shieh (2013) 的评论。行为研究方法 45, 4 (2013),968–971。[7] Geoff Cumming 和 Robert Calin-Jageman。2016. 新统计学导论:估计、开放科学及其他。劳特利奇。[8] Mark Dunlop 和 John Levine。2012. 触摸屏键盘的多维帕累托优化,以提高速度、熟悉度和改进拼写检查。在 SIGCHI 计算机系统人为因素会议论文集(美国德克萨斯州奥斯汀)(CHI '12)中。计算机协会,美国纽约州纽约,2669–2678。 https://doi.org/10.1145/2207676.2208659 [9] Alexander Eiselmayer、Chat Wacharamanotham、Michel Beaudouin-Lafon 和 Wendy E. Mackay。2019 年。Touchstone2:一种用于探索人机交互实验设计权衡的交互式环境。在 2019 年 CHI 计算机系统人为因素会议(英国苏格兰格拉斯哥)(CHI '19)论文集上。美国计算机协会,纽约,纽约州,美国,1-11。https://doi.org/10.1145/3290605.3300447 [10] Franz Faul、Edgar Erdfelder、Axel Buchner 和 Albert-Georg Lang。2009 年。使用 G* Power 3.1 进行统计功效分析:相关和回归分析检验。行为研究方法 41,4(2009 年),1149–1160。[11] Anna Maria Feit、Daryl Weir 和 Antti Oulasvirta。2016 年。我们如何打字:日常打字中的动作策略和表现。 2016 年 CHI 计算机系统人为因素会议论文集(美国加利福尼亚州圣何塞)(CHI '16)。美国计算机协会,纽约,纽约州,美国,4262–4273。https://doi.org/10.1145/2858036.2858233 [12] Leah Findlater 和 Jacob Wobbrock。2012 年。个性化输入:通过自动适应改进十指触摸屏打字。2016 年 SIGCHI 计算机系统人为因素会议论文集(美国德克萨斯州奥斯汀)(CHI '12)。美国计算机协会,纽约,纽约州,美国,815–824。 https://doi.org/10.1145/2207676.2208520 [13] Leah Findlater、Jacob O. Wobbrock 和 Daniel Wigdor。2011 年。在平板玻璃上打字:检查触摸表面上的十指专家打字模式。在 SIGCHI 计算机系统人为因素会议论文集(加拿大不列颠哥伦比亚省温哥华)(CHI '11)。计算机协会,美国纽约州纽约,2453–2462。https://doi.org/10.1145/1978942.1979301 [14] Mayank Goel、Leah Findlater 和 Jacob Wobbrock。2012 年。WalkType:使用加速度计数据适应移动触摸屏文本输入中的情境障碍。 SIGCHI 计算机系统人为因素会议 (美国德克萨斯州奥斯汀) (CHI '12) 论文集。美国计算机协会,纽约,纽约州,美国,2687–2696 页。https://doi.org/10.1145/2207676.2208662 [15] Aakar Gupta 和 Ravin Balakrishnan。2016 年。DualKey:通过手指识别实现微型屏幕文本输入。2016 年 CHI 计算机系统人为因素会议 (美国加利福尼亚州圣何塞) (CHI '16) 论文集。美国计算机协会,纽约,纽约州,美国,59–70 页。 https://doi.org/10.1145/2858036.2858052 [16] M. Harrer、P. Cuijpers、TA Furukawa 和 DD Ebert。2019 年。使用 R 进行元分析:实践指南。PROTECT Lab Erlangen(2019 年)。