神经架构搜索 (NAS)：基本原理和不同方法

神经架构搜索 (NAS) 是自动设计神经网络拓扑以在特定任务上实现最佳性能的过程。目标是使用有限的资源和最少的人为干预来设计架构。

继 Ren 等人的工作之后，让我们讨论一下 NAS 的通用框架。NAS 的核心是一种搜索算法。

它在可能的网络拓扑的搜索空间上运行，该搜索空间由预定义操作列表（例如卷积层、循环、池化、全连接等）及其连接组成。然后，控制器从搜索空间中选择可能的候选架构列表。候选架构根据其在验证测试中的表现进行训练和排名。排名用于重新调整搜索并获得新的候选者。该过程不断迭代，直到达到特定条件并提供最佳架构。最佳架构在测试集上进行评估。

它在可能的网络拓扑的搜索空间上运行，该搜索空间由预定义操作列表（例如卷积层、循环、池化、全连接等）及其连接组成。

它在可能的网络拓扑的搜索空间上运行，该搜索空间由预定义操作列表（例如卷积层、循环、池化、全连接等）及其连接组成。

然后，控制器从搜索空间中选择可能的候选架构列表。

然后，控制器从搜索空间中选择可能的候选架构列表。

根据候选架构在验证测试中的表现对其进行训练和排名。

根据候选架构在验证测试中的表现对其进行训练和排名。

排名用于重新调整搜索并获得新的候选者。

排名用于重新调整搜索并获得新的候选。

在测试集上评估最佳架构。

a) 搜索空间

。