XiaoMi-AI文件搜索系统
World File Search SystemRL
使用深厚的强化学习对工业过程的实时优化
强化学习（RL）在各种应用中显示出巨大的潜力；但是，它在复杂的工业过程中的应用尚待广泛探索。这项工作旨在通过概念研究证明RL在过程工程和控制中的潜力，以证明RL在催化反应器系统中的实时优化（RTO）的应用。目的是在确保过程限制的同时最大化高价值烃的产生。使用了合适的参与者-Critic RL体系结构，并将结果与基于数学优化的基于求解器的基准Mark进行了比较。该研究还评估了Microsoft Project Bonsai的功能，该计划是设计自动系统的AI平台。这项工作的主要贡献包括证明RL在化学过程中的RL应用程序中的应用，分解了RL的适应性和快速推理时间，以及在政策网络培训期间提供处理约束的方法。结果表明，RL可以找到与基于优化的基准相当的可行解决方案。
已发表版本的引文（APA）：Quist, JS, Pedersen, HE, Jensen, MM, Clemmensen, KKB, Bjerre, N., Ekblond, TS, Uldal, S., Størl
哥本哈根 Steno 糖尿病中心、哥本哈根大学医院、赫尔勒夫、丹麦（JS Quist PhD、HE Pedersen PhD、MM Jensen PhD、KKB Clemmensen PhD、N Bjerre PhD、TS Ekblond MSc、S Uldal MD、J Størling PhD、ME Nyeland PhD、D Vistisen PhD、Prof ME Jørgensen PhD、Prof G Finlayson PhD、MB Blond PhD、K Færch PhD）；丹麦哥本哈根大学生物医学科学系（JS Quist、NJ Wewer Albrechtsen PhD、Prof JJ Holst DMSc、Prof SS Torekov PhD、J Størling、K Færch）、食品与资源经济学系（N Bjerre）、Bispebjerg 医院临床生物化学系（NJ Wewer Albrechtsen）、诺和诺德基金会基础代谢研究中心（Prof JJ Holst）和公共卫生系（D Vistisen）；英国利兹大学心理学院（JS Quist、Prof G Finlayson）；丹麦哥本哈根南丹麦大学国家公共卫生研究所（Pedersen 先生、Jørgensen 教授）； iMotions，丹麦哥本哈根（HE Pedersen）;丹麦奥尔堡大学临床医学系（MM Jensen、Prof C Brock PhD）；诺和诺德、索博格、
转移学习策略，用于提高深钢筋学习控制的数据效率
Oak Ridge，TN 37831，美国{Amasyalik，Yanliu，zandih }@ornl.gov摘要 - Reinforeveres Learning（RL）是一种强大的工具，在许多领域显示了许多领域，例如机器人和游戏。 由于RL算法通过与环境连续交互来学习最佳控制策略，因此这些算法需要大量数据才能学习，这将其应用限制为广泛的域。 因此，需要提高RL的培训和数据效率。 为了解决这一研究差距，本文提出了一种转移学习（TL）方法，以通过减少数据需求，从而减少培训时间来提高RL算法的效率。 为了证明拟议的方法，进行了从一组建筑物到另一个建筑物的知识转移。 结果表明，所提出的TL方法是一种有前途的方法，可以有效地利用类似RL任务的信息并减少RL算法的数据需求。Oak Ridge，TN 37831，美国{Amasyalik，Yanliu，zandih }@ornl.gov摘要 - Reinforeveres Learning（RL）是一种强大的工具，在许多领域显示了许多领域，例如机器人和游戏。由于RL算法通过与环境连续交互来学习最佳控制策略，因此这些算法需要大量数据才能学习，这将其应用限制为广泛的域。因此，需要提高RL的培训和数据效率。为了解决这一研究差距，本文提出了一种转移学习（TL）方法，以通过减少数据需求，从而减少培训时间来提高RL算法的效率。为了证明拟议的方法，进行了从一组建筑物到另一个建筑物的知识转移。结果表明，所提出的TL方法是一种有前途的方法，可以有效地利用类似RL任务的信息并减少RL算法的数据需求。
可用性比较拟人化数字人的健康参与者和基于文本的聊天机器人，以此作为对心理健康问题的响应者：随机对照试验
近年来，增强学习（RL）已成为一种有力的工具，可在光网络（例如路由和波长分配（RWA）[1]等光网络中解决复杂而染色的优化问题[1]，路由，调制和频谱分配（RMSA）[2]以及虚拟网络嵌入[3]。RL实现的性能效果表明其在现实世界中的应用潜力。但是，与其他机器学习（ML）算法类似，RL模型具有黑盒性质，使它们难以解释。这种特征使RL模型难以信任，因此在实际的光网部署中采用。对于监督的ML模型，Shap（Shapley添加说明）[4]是一种可解释的AI方法，已被广泛采用。Shap是一种基于合作游戏理论的方法，用于量化单个特征对模型决策过程的影响。Shap值提供了对每个功能的相对重要性（影响）的见解，从而估算了它们如何对模型的输出做出贡献。将这种解释性框架应用于传播质量（QOT）预测任务时，已显示出有希望的属性[5]。最近，由于需要解释和使RL模型的决策过程透明的驱动，可解释的RL（XRL）受到了越来越多的关注。在光网络的上下文中，XRL的概念仍然相对尚未探索。先前建议通过反向工程网络状态[6]或网络中资源使用分析（链接）来解释和解释RL模型的决策[1，7]。但是，这些研究并未分析不同特征如何影响RL药物的决策。因此，在光网络背景下，RL代理学到的政策仍然存在一段差距。这至关重要，因为网络运营商需要在其在实际网络中部署之前了解RL学习策略背后的推理。在这项工作中，我们旨在利用Shap（Shapley添加说明）[4]来解释应用于RMSA问题的RL模型的行为。为此，我们提出了一种使用训练有素的RL代理的观察和行动来以有监督的学习方式训练ML模型的方法。由Shap使用所得的ML模型来提取解释。与[2]中的RMSA问题的每个组件分别求解，RL代理解决路由问题，基于路径长度的调制格式选择以及基于第一拟合策略的频谱分配。我们分析了该问题的三种变化，改变了奖励函数和选择RL代理的不可行的动作的可能性。我们特别有兴趣解释重要的网络和LightPath请求特征，该特征导致RL模型拒绝该请求。结果允许我们确定哪些功能和哪些值范围影响RL代理接受或拒绝LightPath请求。我们观察到，通过更改奖励功能，RL策略会更改拒绝请求时所考虑的重要功能。引入了防止RL模型采取不可行的措施的掩码，使功能的重要性更加均匀地分布在不同的路由选项上。我们认为，提出的方法对于增加将在真实网络中部署的RL模型的可信度可能是有价值的。
对大语模型增强强化学习的调查：概念，分类学和方法
摘要 - 具有广泛的预训练的知识和高级一般能力，大型语言模型（LLMS）作为一种有希望的途径，以增加多任务，样本效率和高级任务计划等诸如多任务学习，样本效率和高级任务计划之类的途径。在这项调查中，我们对LLM增强RL中现有文献进行了全面审查，并总结了其特征与常规RL方法相比，旨在阐明研究范围和未来研究的方向。利用经典的代理 - 环境相互作用范式，我们提出了一种结构化的分类法，以系统地将LLMS在RL中的功能分类，包括四个角色：信息处理器，奖励设计师，决策者，决策者和生成器。对于每个角色，我们总结了方法论，分析缓解的特定RL挑战，并提供对未来方向的见解。最后，讨论了对LLM增强RL的每个角色，潜在应用，潜在的机会和挑战的比较分析。通过提出这种分类法，我们旨在为研究人员提供一个有效利用RL领域中LLM的框架，从而在复杂应用中加速RL应用程序，例如机器人技术，自动驾驶和能源系统。
强化学习中的公平性：调查
尽管我们对机器学习中的公平性的理解已经大大发展，但我们对扩展学习（RL）公平性的理解仍然很新生。大多数诉讼都在一声分类任务中公平。但是，现实世界中支持RL的系统（例如，自动驾驶汽车）的复杂性要复杂得多，因为代理在长时间内在动态环境中运行。为了确保对这些系统的负责任开发和部署，我们必须更好地了解RL中的公平性。在此过程中，我们调查了文献，以提供RL中公平的前沿的最新快照。我们首先要重新查看RL中可能出现公平考虑的地方，然后讨论到目前为止提出的RL公平性的各种定义。我们继续强调了用于在单一和多代理RL系统中实施公平性的方法研究人员，然后展示了已研究了公平RL的不同应用域。最后，我们批判性地研究了文献中的差距，例如在RLHF背景下的公平性，在将来的工作中仍然需要解决这些差距，以便在现实世界中真正实现公平RL。
增强学习
这种全面的分析强调了增强学习的潜力（RL）通过检查其在各种学科中的技术和应用来改变智能决策系统。该研究对几种增强学习（RL）方法的优势和缺点进行了彻底的检查，例如Q学习，深Q-Networks（DQN），策略梯度方法和基于模型的RL。本文探讨了包括机器人技术，自主系统和医疗保健在内的多个领域中的RL应用程序，展示了其在处理复杂决策任务时的适应性。RL在医疗保健领域表现出了管理临床资源，识别慢性疾病和改善患者疗法的希望。机器人技术使用加固学习（RL）来创建自动导航和自适应运动技能。该研究强调了增强学习（RL）在管理高维状态空间，延迟奖励和无模型学习方面的优势，但它们还指出了某些缺点，包括样本效率低下和探索 - 开发折衷。本文强调了跨行业增强学习（RL）的灵活性和潜在影响，从而为从业者和学者提供了希望在智能系统中利用RL提供深刻信息的信息。在现实世界中，自适应决策的未来可能是由RL与其他AI方法的集成（例如深度学习和转移学习）的整合来塑造的，这可以进一步扩大其对越来越复杂的领域的适用性。关键字：加固学习，机器学习，人工智能，健康，机器人
直接偏好优化（DPO） +潜在扩散模型
此处使用的目标函数是根据（相当流行的）PPO算法建模的。该算法反过来是一种策略梯度方法，并且是由信任区域策略优化（TRPO）的目标函数所激发的。，但是目标函数背后的（超高级别）直觉如下：1。对奖励的期望表明，在RL训练的模型πRL的样品上，我们希望该样品πrl的概率高时，当奖励rθ高，否则否则为低。2。beta术语的期望表明我们不希望RL训练的模型概率πrl到