XiaoMi-AI文件搜索系统
World File Search SystemBrainGPT
BRAINGPT：一个受大脑启发的基于 SNN 的大型
基于人工神经网络 (ANN) 的大型语言模型 (LLM) 表现出色，但在计算效率和生物可解释性方面面临挑战。我们提出了 BrainGPT，这是一种基于测试时间训练 (TTT) 框架并受到脉冲神经网络 (SNN) 和神经生物学原理启发的新型 LLM 架构。我们的方法采用双模型结构，模拟人脑中观察到的分层语言处理，并利用具有自适应阈值的专门积分和激发神经元模型。通过多阶段训练策略，包括量化感知预训练、ANN 到 SNN 的转换和受生物启发的无监督学习，我们实现了从 ANN 到 SNN 的数学证明的无损转换，保留了 100% 的原始 ANN 模型的性能。此外，受生物启发的无监督学习优化了维持 100% ANN 性能所需的最大时间步骤。与原始 TTT 模型相比，BrainGPT 的能源效率提高了 33.4%，训练收敛速度提高了 66.7%。这项工作推动了节能且可生物解释的大型语言模型的开发，这些模型的性能可与最先进的基于 ANN 的模型相媲美，同时显著改进了 TTT 框架。
div>的课程
（2024年7月）联系信息邮政学院伦敦大学学院实验心理学26 Bedford Way，314伦敦，英国WC1H 0AP电子邮件b.love@ucl.ac.uk网站http://bradllove.org.org.org.org.org Citizenship US和UK Education Ph.D.伊利诺伊州埃文斯顿的认知心理学西北大学Cognitive and Linguistic Sciences Brown University, Providence, RI POSITIONS 2020-2021 Programme Leader in Human-Machine Teams at the Alan Turing Institute 2016 - Inaugural Turing Fellow at the Alan Turing Institute 2011 - Professor of Cognitive and Decision Sciences at University College London (UCL) 2010 - 2011 Full Professor in Psychology The University of Texas at Austin 2005 – 2010 Associate Professor in Psychology The University of Texas在1999年至2005年的奥斯汀心理学助理教授，德克萨斯大学奥斯汀分校的赠款，奖学金和荣誉奖学金2/2024向Tech Leader（希望保持匿名）向UCL捐款2/2024，以资助Braingpt项目。9/2023 Microsoft的加速基础模型研究计划，“ Braingpt：使用Llama2和Lora加速神经科学研究的开源工具”。8/2022 ESRC Grant，“下一代心理嵌入”。8/2020最佳纸张奖，Hornsby等人的计算大脑和行为。（2020）。9/2019 Ellis.eu自然情报计划中的研究员