部分反馈

算法和体系结构的学习

•在元学习中，它利用ML本身通过学习许多学习任务来改善ML算法，我们介绍Aruba，这是设计和分析元学习方法的框架。我们的分析产生了基于梯度的元学习的首先保证，表明了这些方法如何根据学习任务之间的相似性的可量化度量来改善绩效。我们使用Aruba将元学习的实际影响扩展到ML的新领域，包括通过部分反馈和联合学习的学习；在后一种情况下，我们介绍了FedEx，FedEx是一种用于调整联合优化器的新最新方法，该方法在分布式杂项数据集的网络上训练模型，例如移动设备和医院记录。•我们通过采取其核心方法（近似算法目标的替代损失功能的运行）来发展基于Aruba的成功，并将其扩展到学习算法之外，以显示具有预测算法的学习保证，这些算法是利用ML预测其实例的算法；特别是，我们展示了第一个学习的理论保证，用于预测取决于实例的实例，这是实用应用的关键属性。我们的框架再次充当算法设计工具，我们用它来构建第一算法，并对（差异）（差异性地）有关敏感数据集和线性系统求解器的私有统计信息进行预测；在后一种情况下，我们可以在自然结构假设下学习学习算法，可以学会做出极端的预测。•最后，本文解决了寻找神经网络体系结构的问题，以培训特定的学习任务或体系结构搜索，我们在理解重量共享的优化和概括属性方面取得了进展，这是整个领域中使用的主要启发式启发式。然后，我们将重量分担扩展到设计基于神经操作的新搜索空间，从而可以自动发现数据中真正新颖的架构；这项工作的顶点是破折号，这种方法有效地发现了对我们测试的大多数不同任务的人类专家设计的神经架构的表现。