机构名称：
¥ 1.0
神经形态计算广义上指使用非冯·诺依曼体系结构来模拟人脑的学习过程。术语“冯·诺依曼体系结构”表示任何存储程序计算机，由于它们共享一条公共总线，因此获取指令和数据操作可能不会同时发生，从而导致“冯·诺依曼瓶颈”，即在单独的内存和计算块之间进行耗能和耗时的数据传输。这种瓶颈限制了计算系统执行数据密集型任务的能力，随着现代机器学习模型的出现，对数据密集型任务的需求只会越来越大。此外，最近的一份报告显示，在“过度参数化模式”下运行的高度复杂的神经网络不会对训练数据中的虚假趋势进行过度拟合，而是比复杂度较低的神经网络对未知数据表现出更好的泛化能力 [ 1 ]，这促使模型参数数量自 2015 年以来逐年呈指数增长，训练数据集的大小自 1988 年以来也呈指数增长 [ 2 , 3 ]。具体来说，过去十年见证了从 ResNet-50（> 10 7 个模型参数）到生成式预训练 Transformer 3（GPT-3）（> 10 11 个模型参数）的模型，以及从 ImageNet（~10 6 张图像）到 JFT-3B（> 10 9 幅图像）的数据集。通过克服电子通信、时钟、热管理和电力输送方面的瓶颈 [2]，神经形态系统带来了可扩展硬件的希望，可以跟上深度神经网络的指数增长，从而让我们定义了神经形态计算的第一个主要方向：“加速”。那些关注加速的神经形态系统是为了提高现有机器学习模型的速度和能效而构建的，并且往往会产生相对直接的影响。一个常见的例子是深度神经网络前向传递中用于向量矩阵乘法 (VMM) 的交叉阵列。相比之下，我们将神经形态计算的第二个主要目标定义为“实现”，即在非冯·诺依曼架构中实现人类神经生物学功能。第二个目标的影响将比第一个目标更滞后，但代表了下一代机器学习模型的硬件实现，在脉冲神经网络 (SNN)、赫布学习和霍奇金-赫胥黎神经元模型领域取得了进展。
2D 材料能否弥合神经形态之间的差距？
主要关键词
相关文件推荐
