树架构相对于卷积网络的优势:性能研究
以基于树的架构为中心的最新 AI 研究为训练人工神经网络开辟了新的视角。
来源:Qudata树形架构相对于卷积网络的优势:性能研究
传统上,深度学习 (DL) 的训练解决方案方法源于人脑原理。在这种情况下,神经元表示为相互连接的节点,这些连接的强度随着神经元的相互作用而变化。深度神经网络由三层或更多层节点组成,包括输入层和输出层。然而,这两种学习场景有显著不同。首先,有效的 DL 架构需要数十个隐藏的前馈层,目前已扩展到数百个,而大脑的动态仅由几个前馈层组成。
其次,深度学习架构通常包含许多隐藏层,其中大多数是卷积层。这些卷积层在小部分输入数据中搜索特定的模式或对称性。然后,当在后续隐藏层中重复这些操作时,它们有助于识别定义输入数据类别的更大特征。在我们的视觉皮层中也观察到了类似的过程,但近似的卷积连接主要从视网膜输入到第一个隐藏层得到证实。
深度学习的另一个复杂方面是,对于神经网络的运行至关重要的反向传播技术没有生物类似物。这种方法调整神经元的权重,使它们更适合解决任务。在训练期间,我们为网络提供数据输入,并比较它与我们预期的偏差程度。我们使用误差函数来测量这种差异。
然后我们开始更新神经元的权重以减少这种误差。为此,我们考虑网络输入和输出之间的每条路径,并确定这条路径上的每个权重对整体误差的贡献。我们使用这些信息来校正权重。
科学报告图 1
图 1