机构名称：
¥ 1.0
脉冲神经网络的通用模拟代码大部分时间都处于脉冲到达计算节点并需要传送到目标神经元的阶段。这些脉冲是在通信步骤之间的最后一个间隔内由分布在许多计算节点上的源神经元发出的，并且相对于其目标而言本质上是不规则的和无序的。为了找到这些目标，需要将脉冲发送到三维数据结构，并在途中决定目标线程和突触类型。随着网络规模的扩大，计算节点从越来越多的不同源神经元接收脉冲，直到极限情况下计算节点上的每个突触都有一个唯一的源。在这里，我们通过分析展示了这种稀疏性是如何在从十万到十亿个神经元的实际相关网络规模范围内出现的。通过分析生产代码，我们研究了算法更改的机会，以避免间接和分支。每个线程都承载着计算节点上相等份额的神经元。在原始算法中，所有线程都会搜索所有脉冲以挑选出相关的脉冲。随着网络规模的增加，命中率保持不变，但绝对拒绝次数会增加。我们的新替代算法将脉冲均匀地分配给线程，并立即根据目标线程和突触类型对它们进行并行排序。此后，每个线程仅完成向其自身神经元的脉冲部分的传递。无论线程数如何，所有脉冲都只被查看两次。新算法将脉冲传递中的指令数量减半，从而将模拟时间缩短了 40%。因此，脉冲传递是一个完全可并行的过程，具有单个同步点，因此非常适合多核系统。我们的分析表明，进一步的进展需要减少指令在访问内存时遇到的延迟。该研究为探索延迟隐藏方法（如软件流水线和软件诱导预取）奠定了基础。
通过冯·诺依曼瓶颈引导脑部通信
主要关键词
相关文件推荐
