机器学习研究在多个方面都取得了进展,包括模型结构和学习方法。自动化此类研究的努力(称为 AutoML)也取得了重大进展。然而,这一进展主要集中在神经网络的架构上,它依赖于复杂的专家设计层作为构建块——或类似的限制性搜索空间。我们的目标是展示 AutoML 可以走得更远:今天可以仅使用基本的数学运算作为构建块来自动发现完整的机器学习算法。我们通过引入一个新颖的框架来证明这一点,该框架通过通用搜索空间显着减少了人为偏见。尽管这个空间广阔,但进化搜索仍然可以发现通过反向传播训练的两层神经网络。然后可以通过直接在感兴趣的任务上进化来超越这些简单的神经网络,例如 CIFAR-10 变体,现代技术从中出现
主要关键词