详细内容或原文请订阅后点击阅览
用于可扩展高性能策略优化的分布式强化学习
利用大规模并行性、异步更新和多机训练来匹配并超越人类水平的性能用于可扩展高性能策略优化的分布式强化学习一文首先出现在《走向数据科学》上。
来源:走向数据科学解决现实世界的问题很困难
强化学习在受控环境中看起来很简单：明确的状态、密集的奖励、静态动态、无限的模拟。大多数基准测试结果都是在这些假设下产生的。现实世界几乎违反了所有这些假设。
观察是片面的且有噪音的，奖励是延迟的或模糊的，环境随着时间的推移而变化，数据收集缓慢且昂贵，错误会带来真正的成本。政策必须在安全约束、有限探索和非平稳分布下运作。离政策数据会积累偏差。调试是不透明的。小的建模错误会导致不稳定的行为。
再说一遍，针对现实世界问题的强化学习确实很难。
除了像 Atari 这样存在于学术界的受控模拟器之外，关于如何设计、训练或调试的实用指导非常少。消除使基准易于处理的假设，剩下的问题空间似乎几乎不可能实际解决。
但是，有了这些例子，你就会重拾希望：
在本文中，我将介绍实用的、现实世界的并行训练强化学习代理的方法，采用许多（如果不是完全相同的话）为当今超人类人工智能系统提供动力的技术。这是对学术技术的精心选择+从在随机、非平稳领域工作的构建代理中获得来之不易的经验。
必须理解以下内容：
让我们开始吧。