XiaoMi-AI文件搜索系统
World File Search SystemRei
arxiv_censoring-awaretree基于基于估算多阶段动态治疗方案的增强措施
动态治疗方案（DTRS）提供了一种系统的方法来制定适合个人患者特征的顺序治疗决策，尤其是在感兴趣的生存结果的临床环境中。审查感知树的增强学习（CA-TRL）是一个新的框架，可在估计最佳DTR时解决与审查数据相关的复杂性。我们探索从观察数据中学习有效DTR的方法。通过增强基于树木的增强学习方法，具有增强的反可能性加权（AIPW）和审查感知的修改，CA-TRL提供了强大而可解释的治疗策略。我们使用SANAD癫痫数据集通过广泛的模拟和现实世界应用来展示其有效性，在该数据集中，它的表现优于最近提出的关键指标中提出的ASCL方法，例如受限的平均生存时间（RMST）和决策精度。这项工作代表着跨不同医疗机构的个性化和数据驱动的治疗策略迈出的一步。
从人类反馈中学习的强化
- 培训语言模型以人为反馈的指示 - 直接偏好优化：您的语言模型是秘密的奖励模型 - 精细的人类反馈为语言模型培训提供了更好的奖励 - 开放问题和从人类反馈>的强化基本限制
通过遗憾和评估阶段的状态修复的安全加强学习
深度加强学习（DRL）在许多复杂的决策任务中都取得了成功。然而，对于许多现实世界应用，标准的DRL培训在具有脆弱性能的代理商中恢复，特别是在关键问题问题上，发现安全和成功的策略都非常具有挑战性。已经提出了各种探索策略来解决这个问题。但是，他们没有考虑当前的安全性能的信息；因此，它们无法系统地在与培训最相关的状态空间部分上进行系统。在这里，我们提出了基于估计的深度强化学习（稀有）中的状态，该框架介绍了两种创新：（i）将安全评估阶段与国家修复阶段与国家修复阶段，即，在未访问的状态和（ii）估计的promiere extimies nefiperies of n.gap中，gap secried and gap secried seformist of the MAR均进行了iSe。我们表明，这两种创新都是有益的，并且在经验评估中，罕见的优于深度学习和探索等基线。
深度强化学习
[1] R. Sutton和A. Barto，《加固学习简介》，麻省理工学院出版社，1998年。[2] C. Szepesvari，《增强学习算法》，Morgan＆Claypool Publishers，2010年。[3] C. Watkins，从延迟的奖励中学习，博士学位论文，剑桥大学，英格兰，1989年。[4] M. Wiering和M. Van Otterlo，加固学习：最新的ART，Springer，2014年。[5] M. Puterman，马尔可夫决策过程：离散随机动态编程，Wiley，1994年。[6] D. P. Bertsekas，动态编程和最佳控制，第一卷和II，雅典娜科学，2017年。[7] W. B. Powell，近似动态编程，Wiley，2011年。[8]选定的纸
实时强化学习的复杂性分析
本文分析了在线增强学习算法的复杂性，即Q学习和价值意识的异步实时版本，应用于确定性域中达到目标状态的问题。先前的工作得出的结论是，在许多情况下，Tabula Rasa强化学习是针对此类问题的指定的，或者只有在增强学习算法时才可以处理。我们表明，相反，算法是可以处理的，而任务表示或初始化的模拟更改。我们在最坏情况的复杂性上提供了紧密的界限，并显示出复杂性是如何较小的，如果系统性学习算法对状态空间或域具有某些特殊属性的初始了解。我们还提出了一种新颖的双向Q学习算法，以从所有状态到目标状态找到最佳路径，并表明它不比其他算法更复杂。
离线强化学习的隐式和明确的政策约束
离线增强学习（RL）旨在根据历史数据改善目标政策而不是行为政策。离线RL的一个主要问题是分配转移导致Q值估计的分布转移。大多数现有的作品都集中在行为克隆（BC）或最大化Q学习方法以抑制分布转移。BC方法试图通过将目标策略限制为离线数据来减轻转移，但它使学习的策略高度保守。另一方面，最大化Q学习方法采用悲观的机制来通过根据动作的不确定性来最大化Q值和惩罚Q值来产生动作。但是，生成的措施可能是算法的，从而导致预测的Q值高度不确定，这反过来又将误导该策略以生成下一个动作。为了减轻分配转移的不利影响，我们建议通过统一Q学习和行为克隆以应对探索和剥削难题来隐含和明确地限制政策。对于隐式约束方法，我们建议通过致力于使目标策略和行为策略的行动无法区分的生成对抗网络统一行动空间。对于显式约束方法，我们会提出多重重要性采样（MIS），以了解每个状态行动对的优势权重，然后将其用于抑制或充分使用每个状态行动对。D4RL数据集上的广泛实验表明，我们的方法可以实现出色的性能。MAZE2D数据上的结果表明，MIS与单个重要性采样更好地解决了异质数据。我们还发现MIS可以有效地稳定奖励曲线。关键字：Q学习，行为克隆，悲观机制，多重重要性采样。
使用深钢筋的四倍的机器人模拟...
摘要 - 我提出了一种新颖的增强学习方法，用于在模拟环境中训练四足机器人。在动态环境中控制四足机器人的想法非常具有挑战性，我的方法提出了最佳的政策和培训方案，资源有限，并且表现出色。该报告使用RaisimgyMtorch开源库和专有软件Raisim进行模拟Anymal机器人。我的方法以训练时的机器人步行方案的评估为中心，以制定马尔可夫决策过程。使用在Actor-Critic模式下使用的近端策略优化算法来解决结果的MDP，并使用一台台式机收集了数千个状态转换。这项工作还提出了一个控制器方案，该计划在模拟环境中显示了数千个时间步骤。这项工作还为早期研究人员提供了他们喜欢的算法和配置的基础。