图 2.5 激活函数:(a)S 型函数,(b)双曲正切函数,(c)整流线性单位函数,(d)泄漏整流线性单位函数。......................................................................................................................... 18
摘要 — 在本文中,我们建议使用模拟电路实现 S 型函数,该函数将用作多层感知器 (MLP) 网络神经元的激活函数,以及其近似导数。文献中已经提出了几种实现方法,特别是 Lu 等人 (2000) 的实现方法,他们提供了采用 1.2 µ m 技术实现的可配置简单电路。在本文中,我们展示了基于 Lu 等人的 S 型函数电路设计,使用 65 nm 技术以降低能耗和电路面积。该设计基于对电路的深入理论分析,并通过电路级模拟进行验证。本文的主要贡献是修改电路的拓扑结构以满足电路所需的非线性响应以及提取所得电路的直流功耗。索引词——激活函数、模拟 CMOS 电路、近似导数、反向传播、多层感知器、S 型函数。
摘要 本文提出了一种基于各层神经元值统计分布概率的分段线性 (PWL) S 型函数逼近方法,仅使用加法电路即可提高网络识别精度。首先将 S 型函数划分为三个固定区域,然后根据神经元值分布概率将每个区域中的曲线分割为子区域,以减少逼近误差并提高识别精度。在Xilinx 的FPGA-XC7A200T上对MNIST和CIFAR-10数据集进行的实验表明,所提方法在DNN、CNN和CIFAR-10上分别达到了97.45%、98.42%和72.22%的识别准确率,比其他仅使用加法电路的近似方法分别提高了0.84%、0.57%和2.01%。关键词:S形函数、概率、神经网络、分段线性近似
通过第一性原理方法对等离子体纳米粒子的光谱进行建模需要耗费大量的计算资源,因此需要具有高准确度/计算成本比的方法。本文,我们表明,如果在辅助基组中每个原子仅采用一个 s 型函数,并采用适当优化的指数,则可以大大简化时间相关密度泛函理论 (TDDFT) 方法。这种方法(称为 TDDFT-as,代表辅助 s 型)可以预测不同尺寸和形状的银纳米粒子的激发能量,与参考 TDDFT 计算相比,平均误差仅为 12 meV。TDDFT-as 方法类似于线性响应处理的紧束缚近似方案,但适用于原子跃迁电荷,这里精确计算(即没有来自群体分析的近似)。我们发现,原子跃迁电荷的精确计算大大改善了宽能量范围内的吸收光谱。