将重新连接到下一个级别

了解Resnext如何在重新系统上进行改进,并通过全面的Pytorch实施GuidEthe将重新连接到一个新的水平首先出现在数据科学方面。

来源:走向数据科学

如果您阅读了本文的标题,则可能会认为Resnext直接源自Resnet。好吧,这是的,但我认为这并不完全准确。实际上,对我而言,Resnext有点像Resnet,VGG和Inception的组合 - 我将在一秒钟内向您展示原因。在本文中,我们将讨论Resnext体系结构,其中包括历史记录,体系结构本身的详细信息以及最后但并非最不重要的是与Pytorch从头开始的代码实现。

Resnext的历史

在调整神经网络模型时,我们通常对高度参数进行了关注,这是深度和宽度,该深度分别对应于层的数量和通道的数量。我们在VGG和Resnet中看到了这一点,这两个模型的作者提出了小型内核和跳过连接,以便它们可以轻松地增加模型的深度。从理论上讲,这种简单的方法确实能够扩大模型能力。但是,两个高参数维度总是与参数数量的重大变化相关联,这绝对是一个问题,因为在某个时候,我们将使我们的模型变得太大,以至于无法稍微提高准确性。另一方面,我们知道从理论上讲,在计算上是更便宜的,但是它具有复杂的建筑设计,这要求我们付出更多的努力来调整该网络的深度和宽度。如果您曾经了解过启动,那么它基本上是通过通过几个不同内核大小的卷积层传递张量来实现的,并让网络决定哪个更好地代表特定任务的特征。

等。 深神经网络的汇总残差转换 resnext 基数 下一个

Resnext模块

图1。三个Resnext模块变体[1]。
拆分转换 - 合并 拆分 变换 合并 等效 小组卷积

数学定义

图2。reSnext模块的数学表达[1]。