XiaoMi-AI文件搜索系统
World File Search SystemReinforcement
从人类反馈中学习的强化
- 培训语言模型以人为反馈的指示 - 直接偏好优化：您的语言模型是秘密的奖励模型 - 精细的人类反馈为语言模型培训提供了更好的奖励 - 开放问题和从人类反馈>的强化基本限制
使用加强学习
摘要 - 使用无人驾驶汽车（无人机）的搜索和救援应用也称为无人机，由于其对生态系统和人员的影响很大，因此正在成为行业和学术界感兴趣的研究主题。探索灾区是搜救和救援的关键要素，以确定需要立即援助或具有较高危险概率的区域。本文旨在使用无人机对灾区的覆盖范围优化。我们将重点放在研究的情况下。所提出的方法由两个主要部分组成：i）暹罗网络用于识别卫星图像中的浮游建筑物，ii）ii）感兴趣的点被转换为合适的迷宫环境，随后，任何增强学习（RL）结构用于区域覆盖范围以进行区域覆盖范围。在这里，RL体系结构的目标是通过优化时间和以前访问的区域来确保无人机覆盖完整的环境。实验以显示当前方法的好处和挑战。
通过解决迷宫的增强学习对小鼠的基底神经节进行建模
本文的目的是通过深度增强学习对小鼠大脑的基底神经节功能进行建模。众所周知，基底神经节可以提供带有皮质直接影响运动功能的反馈回路。基底神经节中的大多数神经元都是抑制性或多巴胺能。这类似于加强学习的奖励体系。由于几乎不可能对基底神经节的整个应用进行建模，因此本文将重点介绍在迷宫的应用程序中对基底神经节进行建模，其中鼠标在迷宫中，并且需要找到“一块奶酪”（奖励）。这种现实世界的测试通常是在小鼠上进行的，并很好地展示了如何通过增强学习，通过奖励模仿学习[1]。在这种情况下，将在模拟动作方面抽象出其他相关领域（如感觉皮层和运动皮层）的功能和建模。总体而言，通过增强学习对基础神经节的关键功能将是其在行动选择和学习中的用途。
深度强化学习
[1] R. Sutton和A. Barto，《加固学习简介》，麻省理工学院出版社，1998年。[2] C. Szepesvari，《增强学习算法》，Morgan＆Claypool Publishers，2010年。[3] C. Watkins，从延迟的奖励中学习，博士学位论文，剑桥大学，英格兰，1989年。[4] M. Wiering和M. Van Otterlo，加固学习：最新的ART，Springer，2014年。[5] M. Puterman，马尔可夫决策过程：离散随机动态编程，Wiley，1994年。[6] D. P. Bertsekas，动态编程和最佳控制，第一卷和II，雅典娜科学，2017年。[7] W. B. Powell，近似动态编程，Wiley，2011年。[8]选定的纸
具有多州降解和深度强化学习的下水道管道的维护策略
大规模的基础设施系统对社会欢迎至关重要，其有效管理需要造成各种复杂性的战略前提和干预方法。我们的研究解决了涉及下水道资产的预后和健康管理（PHM）框架内的两个挑战：对跨严重水平的管道降解并制定有效的维护政策。我们采用多州降解模型（MSDM）来代表下水道管道中的随机降解过程，并使用深度加固学习（DRL）来制定维护策略。荷兰下水道网络的案例研究例证了我们的方法论。我们的发现证明了该模型在产生超过启发式方法的智能，节省成本的维护策略方面的效率。它根据管道的年龄来调整其管理策略，选择一种被动方法，用于新的管道，并过渡到较老的策略，以防止失败和降低成本。这项研究高光DRL在优化维护政策方面的潜力。未来的研究将通过合并部分可观察性，探索各种强化学习算法并将这种方法扩展到全面的基础架构管理，以改善模型。
rlaif vs. rlhf：通过AI反馈从人类反馈中缩放加强
Harrison Lee，Samrat Phatale，Hassan Mansoor，Thomas Mesnard，Johan Ferret，Kellie Lu，Colton Bishop，Ethan Hall，VictorCărbune，Abhinav Rastogi，Sushant Prakash Prakash ICML 2024 div>Harrison Lee，Samrat Phatale，Hassan Mansoor，Thomas Mesnard，Johan Ferret，Kellie Lu，Colton Bishop，Ethan Hall，VictorCărbune，Abhinav Rastogi，Sushant Prakash Prakash ICML 2024 div>
基于强化学习的分散武器 -
多次无误攻击是饱和和克服导弹防御系统的最简单方法之一。为了提高针对此类攻击者群体的拦截效率，有必要根据其运动学局限性分配拦截器。此外，这样的分配方案必须是可扩展的，以应对大型方案并允许动态重新分配。在本文中，我们首先提出了这种武器目标分配（WTA）问题的新表述，并提供了使用加固学习（RL）以及贪婪的搜索算法来解决它的分散方法。从每个追随者与所有目标的角度考虑参与。同时，其他拦截器与目标群体相关，而其他团队成员则可以使用其分配和成功概率。为了改善中途轨迹的塑造，在追随者和进来的对手之间放置了静态虚拟目标。每个拦截器根据从计算有效的仿真环境中的大量场景中学到的策略动态选择目标。RL输入状态包含目标的拦截器达到性覆盖范围以及其他导弹成功的概率。RL奖励汇总了团队绩效，以鼓励在分配层面上进行合作。相关的可及性约束是通过采用拦截器运动的运动学近似来分析获得的。RL的使用确保所有拦截器的实时可扩展和动态重新分配。我们将基于RL的分散WTA和指导方案与贪婪解决方案的性能进行比较，显示了RL的性能优势。
通过反强化学习的学徒学习
我们考虑在马尔可夫决策过程中学习，在马尔可夫决策过程中，我们没有明确地赋予重新功能，但是我们可以在这里遵守专家，以展示我们想学习的任务。此设置在应用程序（例如驾驶任务）中很有用，很难写下明确的奖励功能，以准确地指定应如何交易不同的desiderata。我们认为专家试图最大程度地发挥奖励功能，该奖励功能可作为已知功能的线性组合，并给出了一种学习专家所展示的任务的算法。我们的al-gorithm基于使用“逆增强学习”来试图恢复未知的奖励功能。我们表明，我们的算法终止了少数迭代，即使我们可能永远无法恢复专家的奖励功能，算法的策略也将达到与专家接近的绩效，在此，在此，相对于Expt exptt的未知奖励函数，在这里可以衡量。