机构名称：
¥ 1.0
摘要。为循环神经网络 (RNN) 手工制作有效且高效的结构是一个困难、昂贵且耗时的过程。为了应对这一挑战，我们提出了一种基于蚁群优化 (ACO) 的新型神经进化算法，称为基于蚂蚁的神经拓扑搜索 (ANTS)，用于直接优化 RNN 拓扑。该过程从多种现代循环细胞类型中进行选择，例如 ∆ -RNN、GRU、LSTM、MGU 和 UGRNN 细胞，以及可能跨越多个层和/或时间步骤的循环连接。为了引入鼓励形成更稀疏的突触连接模式的归纳偏差，我们研究了核心算法的几种变体。我们主要通过制定不同的函数来驱动底层信息素模拟过程（模仿标准机器学习中的 L1 和 L2 正则化）以及引入具有专门角色的蚂蚁代理（受真实蚁群运作方式的启发），即构建初始前馈结构的探索蚁和从前馈连接中选择节点以随后制作循环记忆结构的社会蚁。 我们还结合了社区智慧，其中最佳权重由蚁群共享以进行权重初始化，从而减少本地训练候选 RNN 所需的反向传播时期数，从而加快神经进化过程。 我们的结果表明，ANTS 进化的稀疏 RNN 明显优于由现代记忆细胞组成的传统一层和两层架构以及众所周知的 NEAT 算法。 此外，我们还改进了实验中使用的时间序列数据集的先前最新结果。
基于蚂蚁的神经拓扑搜索（ANTS）用于优化循环网络
主要关键词
相关文件推荐
