图 1 | BCI 数据的持续深度学习分类。在线 BCI 任务期间记录的 EEG 数据滑动窗口用于训练 Schirrmeister 等人(2017 年)报告的浅层 CovNet 架构。这些窗口长 500 毫秒,每 40 毫秒移动一次。根据提供的数据训练了两种类型的模型。“运动模型”使用与在线 BCI 实验相同的运动皮层电极蒙太奇进行训练。“所有模型”均使用所有可用电极进行训练。在连续步骤中,浅层 CovNet 架构使用密集层和 softmax 变换执行时间卷积、空间滤波、平方非线性、均值池化、对数变换和线性分类。在测试期间,训练后的模型为每个窗口提供类成员的估计概率。在模拟光标控制环境中,具有最高估计概率的类(红色圆圈)用于将虚拟光标移动到该最高估计概率的方向,并与该最高估计概率成比例。通过改变试验分类所需的总概率阈值(神经网络输出随时间的总和),探索了神经网络预测和控制系统之间的功能映射。低概率阈值模拟更快的光标控制,而高阈值模拟更慢的光标控制(有关更多详细信息,请参阅文本)。
人体大脑皮层具有许多颠簸和凹槽,称为Gyri和Sulci。即使主要的皮质褶皱具有高个性的一致性,当我们检查折叠模式的确切形状和细节时,情况并非如此。由于这种复杂性,表征了皮质折叠的变异性并将其与受试者的行为特征或病理相关联仍然是一个开放的科学问题。经典方法包括基于几何距离手动或半自动的几种特定模式,但是最近数以千计的受试者的MRI图像数据集可用于现代深度学习技术,使现代深度学习技术变得特别有吸引力。在这里,我们构建了一个自制的深度学习模型,以检测扣带回区域的折叠模式。我们在人类Connectome项目(1101个受试者)和UKBiobank(21070受试者)数据集上培训了一个对比对比的自我监管模型(SIMCLR),并具有基于拓扑的骨骼骨骼上的增强,这些数据集对拓扑对象进行了基于拓扑的增强,它们是捕获折叠形状的拓扑对象。我们为SIMCLR探索了几个骨干架构(卷积网络,densenet和Pointnet)。进行评估和测试,我们在手动标记的数据库上执行线性分类任务,该任务在扣带回区域中存在“双重并行”折叠模式,这与精神分裂症特征有关。最佳模型,测试AUC为0.76,是一个卷积网络,具有6层,一个10维潜在空间,线性投影头以及使用分支分支的增强。这是第一次将自制的深度学习模型应用于如此大的数据集上的皮质骨骼并进行了定量评估。我们现在可以设想下一步:将其应用于其他大脑区域以检测其他生物标志物。GITHUB存储库可在https://github.com/neurospin-projects/2022 JCHAVAS CATINGULATE抑制控制上公开获得。
[2] Hsiang-fu Yu,Cho-Jui Hsieh,Kai-Wei Chang和Chih-Jen Lin,当数据无法填充记忆中时,大型线性分类,第16届ACM SIGKDD国际知识发现与数据挖掘和数据挖掘的国际会议(KDD 2010)(KDD 2010),最佳研究论文,最佳研究论文,最佳研究论文。[3] Liunian Harold Li, Pengchuan Zhang, Haotian Zhang, Jianwei Yang, Chunyuan Li, Yiwu Zhong, Lijuan Wang, Lu Yuan, Lei Zhang, Jenq-Neng Hwang, Kai-Wei Chang , and Jianfeng Gao, Grounded Language-Image Pre-training, the Computer Vision and Pattern Recognition Conference (CVPR 2022)。最佳纸决赛入围者,在8161个提交中,有33名,最高0.4%[4] Kuan-Hao Huang,Varun Iyer,I.-Hung Hsu,Anoop Kumar,Kai-Wei Chang和Aram Galstyan。“ Paraamr:AMR反翻译的大规模句法释义数据集。”在计算语言学协会年度会议中(ACL 2023)。区域椅子奖(语义曲目中的顶纸)[5] Nikil Roashan Selvam,Sunipa Dev,Daniel Khashabi,Tushar Khot和Kai-Wei Chang。“尾巴摇晃狗:社会偏见基准的数据集建筑偏见。”在计算语言学协会年会(ACL Short)的年度会议中,2023年。杰出纸奖[6] Hritik Bansal,Yonatan Bitton,Idan Szpektor,Kai-Wei Chang和Aditya Grover。videocon:通过对比标题进行稳健的视频语言对齐。在计算机视觉和模式识别会议上(CVPR,2024)。在ICLR研讨会上有关基础模型数据问题的最佳纸张奖。[7] Pan Lu,Hritik Bansal,Tony Xia,Jiacheng Liu,Chunyuan Li,Hannaneh Hajishirzi,Hao Cheng,Kai-Wei Chang,Michel Galley和Jianfeng Gao。MathVista:评估视觉上下文中基础模型的数学推理。在国际学习表征会议上(ICLR,2024)。被选为口头(7,000份提交中的85个,前1.2%)[8] Hritik Bansal,Nishad Singhi,Yu Yang,Fan Yin,Aditya Grover和Kai-Wei Chang。“ CleanClip:减轻多模式对比学习中的数据中毒攻击。”在国际计算机愿景会议上(ICCV,2023)。为口头选择(在8088个意见中,有195个,前2.5%),ICLR的最佳纸张奖,涉及可信赖和可靠的大型机器学习模型。[9] Tao Meng,Sidi Lu,Nanyun Peng和Kai-Wei Chang。在神经信息处理系统中具有神经化甲骨文的可控文本生成(Neurips 2022)。被选为口头,201311年中有201名最高1.9%[10]洪川张,liunian Harold Li,Tao Meng,Kai-Wei Chang和Guy van den Broeck。“关于从数据中进行推理的悖论。”在人工智能国际联合会议中(IJCAI 2023)。ijcai-23中的前3个引用的论文[11] Sheng Shen,Liunian Harold Li,Hao Tan,Mohit Bansal,Anna Rohrbach,Kai-Wei Chang,Zhewei Yao和Kurt Keutz,Keurt Keutz,剪辑可以剪辑多少愿望和语言?国际学习代表会议(ICLR 2022)。iClr-22 [12] W. Ahmad,S。Chakraborty,B。Ray,K.-W。张。旨在进行程序理解和生成的预先培训。计算语言学协会北美分会(NAACL 2021),NAACL-21的前3个引用论文。太阳。[13] Z. Hu,Y。Dong,K。Wang,K.-W。 Chang和Y。gpt-gnn:图神经网络的生成预训练。ACM SIGKDD国际知识发现与数据挖掘会议(KDD 2020),在KDD-20的前10名引用论文。[14] M. Alzantot,Y。Sharma,A。Elgohary,B.-J。HO,M。Srivastava,K.-W。张。 生成自然语言对抗性示例。 自然语言经验方法会议HO,M。Srivastava,K.-W。张。生成自然语言对抗性示例。自然语言经验方法会议