XiaoMi-AI文件搜索系统
World File Search SystemRL
通过Q加权变化策略优化的基于扩散的增强学习
扩散模型在增强学习（RL）方面具有广泛的关注（RL），以表现出强大的表现力和多模式。已经证实，利用扩散策略可以通过克服非峰政策（例如高斯政策）的局限性来显着改善RL算法在连续控制任务中的性能。此外，扩散策略的多模式性还表明了为代理提供增强的勘探能力的潜力。但是，现有的作品主要集中于在离线RL中应用扩散政策，而将其纳入在线RL中的研究较少。由于“良好”样本（动作）不可用，因此无法直接应用于在线RL中的扩散模型的训练目标，称为变异下限。为了将扩散模型与在线RL协调，我们提出了一种基于无模型扩散的新型在线RL算法，称为Q-PRIATION策略优化（QVPO）。具体来说，我们在实践中介绍了Q加权变分损失及其近似实施。值得注意的是，这种损失被证明是政策目标的紧密下限。为了进一步增强扩散策略的勘探能力，我们设计了一个特殊的熵正规化项。与高斯政策不同，扩散政策中的对数可能是无法访问的。因此，此熵项是不平凡的。此外，为了减少扩散政策的巨大差异，我们还通过行动选择制定了有效的行为政策。这可以进一步提高在线交互期间的样本效率。因此，QVPO算法利用了扩散策略的探索能力和多模式，从而阻止了RL代理融合到亚最佳策略。为了验证QVPO的有效性，我们对Mujoco连续控制基准进行了综合实验。最终结果表明，QVPO在累积奖励和样本效率方面都可以达到最先进的表现。我们的官方实施在https://github.com/wadx2019/qvpo/中发布。
高程程序30012025 div>
博士凯瑟琳·齐萨基（Catherine Zisaki）博士Aikaterini Zisaki质量和监管系统和PKNM SolutionsSàrl|质量保证管理系统和监管事务总监，PKNM解决方案Sàrl
对金融市场中深厚学习的调查
摘要。本文调查了加固学习（RL）在股票价格预测中的应用，突出了其潜力和局限性。我们探讨了如何使用RL来优化交易策略，管理投资风险，找到套利机会并预测趋势。评论根据数据频率（高/非高高）和目标（预测/交易策略）对研究对象和方法进行了分类。我们分析了各种资产类别（股票，外汇等）和模型（RL，神经网络，LSTMS）在以前的工作中使用。关键发现表明，通过适应复杂的市场动态，RL比传统模型具有优势，并且结合情感分析可以进一步提高其有效性。我们确定了未来研究的有希望的途径，包括混合模型，更深层的情感整合以及改善风险管理。总体而言，该论文得出结论，RL对转变财务预测有很大的希望，从而提供了更准确和适应能力的决策工具。
定量交易的强化学习
定量交易（QT）是指在分析金融市场中的数学模型和数据驱动技术的使用，自1970年代以来一直是学术界和金融业的一个流行话题。在过去的十年中，强化学习（RL）在许多领域（例如机器人和视频游戏）中引起了重大兴趣，这是由于其出色地解决了复杂的顺序决策问题。rl的影响无处不在，最近证明了其征服许多挑战QT任务的能力。这是一个蓬勃发展的研究方向，可以探索RL技术在QT任务上的潜力。本文旨在提供对基于RL的QT任务方法的研究工作的全面调查。更具体地说，我们设计了基于RL的QT模型的分类法，以及对最新现状的全面摘要。最后，我们讨论了当前的挑战，并在这个令人兴奋的领域提出了未来的研究指示。
强化学习中有多少是工作记忆，而不是强化学习？行为、计算和神经遗传学分析
工具性学习涉及皮质纹状体回路和多巴胺能系统。该系统通常在强化学习 (RL) 框架中通过逐步积累状态和动作的奖励值来建模。然而，人类学习也涉及参与高级认知功能的前额叶皮质机制。这些系统的相互作用仍然不太清楚，人类行为模型经常忽略工作记忆 (WM)，因此错误地将行为差异分配给 RL 系统。在这里，我们设计了一个任务，突出了这两个过程的深刻纠缠，即使在简单的学习问题中也是如此。通过系统地改变学习问题的大小和刺激重复之间的延迟，我们分别提取了负载和延迟对学习的 WM 特定影响。我们提出了一种新的计算模型，该模型解释了在受试者行为中观察到的 RL 和 WM 过程的动态整合。将容量有限的 WM 纳入模型使我们能够捕获在纯 RL 框架中无法捕获的行为差异，即使我们（难以置信地）允许每个集合大小的 RL 系统分开。 WM 成分还允许对单个 RL 过程进行更合理的估计。最后，我们报告了两种基因多态性对前额叶和基底神经节功能具有相对特异性的影响。编码儿茶酚-O-甲基转移酶的 COMT 基因选择性地影响了 WM 容量的模型估计，而编码 G 蛋白偶联受体 6 的 GPR6 基因则影响了 RL 学习率。因此，这项研究使我们能够指定高级和低级认知功能对工具学习的不同影响，超出了简单 RL 模型提供的可能性。
一项关于基于模型的强化学习的调查
抽象的增强学习（RL）与环境相互作用，以通过反复试验解决顺序决策问题。错误在现实世界中的应用程序总是不受欢迎的，即使RL擅长玩复杂的视频游戏，这些游戏允许进行多次试用和错误尝试。为了提高样本的效率并减少错误，基于模型的加固学习（MBRL）被认为是一个有前途的方向，因为它构建了可以在不产生实际成本的情况下进行反复试验的环境模型。在这项调查中，我们调查了MBRL，特别关注Deep RL的最新进展。在非尾环环境的学习模型与实际环境之间存在概括性误差。因此，至关重要的是要分析环境模型中的政策培训之间的差异，即在实际环境中，指导算法设计，以改善模型学习，模型利用和政策培训。此外，我们讨论了其他形式的RL，例如offline rl，目标条件的RL，多代理RL和Meta-RL的最新发展。此外，我们讨论了MBRL对现实世界任务的适用性和收益。最后，这项调查结束了关于MBRL未来发展前景的讨论。我们认为，MBRL在现实世界中具有巨大的潜力和利益，我们希望这项调查将鼓励对MBRL的更多研究。
碳酸酐酶4破坏和药理抑制作用减少了羟考酮后的突触和行为适应。作者：S
关键字：CA4，ASIC1A，碳酸酐酶，羟考酮戒断，突触可塑性，阿片类药物寻求通信地址：John A. Wemmie MD，PhD Roy J.和Lucille A.爱荷华州爱荷华州的卡弗学院，爱荷华州52242电话：319-384-3173传真：319-384-3176电子邮件：john-wemmie@uiowa.edu@uiowa.edu作者贡献：概念化：概念化：SG，SG，SG，RL，JW;实验，数据收集，分析：SG，AG，RJT，MTJ，RF；资金和管理：RL，JW；写作：SG，RJT，RL，JW利益冲突：作者宣布没有竞争的财务利益。爱荷华州爱荷华州的卡弗学院，爱荷华州52242电话：319-384-3173传真：319-384-3176电子邮件：john-wemmie@uiowa.edu@uiowa.edu作者贡献：概念化：概念化：SG，SG，SG，RL，JW;实验，数据收集，分析：SG，AG，RJT，MTJ，RF；资金和管理：RL，JW；写作：SG，RJT，RL，JW利益冲突：作者宣布没有竞争的财务利益。
![arxiv：2407.17032v1 [cs.lg] 2024年7月24日-Eprints Soton](/simg/g:\will\search\icon\source\2\2f4040608edfe5361b3884f81cfb901afe4ce241.webp)
arxiv：2407.17032v1 [cs.lg] 2024年7月24日-Eprints Soton
发表了深Q-Networks（DQN）[Mnih等。，2013年]，从其人工智能（AI）冬季唤醒了增强学习（RL），这表明一般基于神经网络的算法可以在一系列复杂的任务中实现专家级的性能。在后来的几年中，深度神经网络的RL导致特工在Go Silver等人中击败了专业人士。[2017]，Dota 2 Berner等。[2019]，Starcraft 2 [Vinyals等。 ，2019年]以及更多。 因此，在学术界和行业内，对RL研究的公共利益最近都在显着增长。 同时，Openai Gym [Brockman等。 ，2016年]成为第一个广泛采用的普通API。 体育馆是健身房的维护叉子，带来了许多改进和API更新，以使其继续使用开源RL研究。[2019]，Starcraft 2 [Vinyals等。，2019年]以及更多。因此，在学术界和行业内，对RL研究的公共利益最近都在显着增长。同时，Openai Gym [Brockman等。，2016年]成为第一个广泛采用的普通API。体育馆是健身房的维护叉子，带来了许多改进和API更新，以使其继续使用开源RL研究。
使用隐式行为克隆和动态运动原始的动态运动来促进机器人运动计划的增强学习
摘要 - 用于运动计划的运动计划（RL）在慢训练速度和差异性差方面仍然具有低效率和差异性。在本文中，我们提出了一种新型的基于RL的机器人运动计划框架，该框架使用隐式行为克隆（IBC）和动态运动原始（DMP）来提高训练速度和外部RL试剂的概括性。IBC利用人类演示数据来利用RL的训练速度，而DMP则是一种启发式模型，将运动计划转移到更简单的计划空间。为了支持这一点，我们还使用可用于类似研究的选择实验创建了人类的示范数据集。比较研究揭示了所提出的方法比传统RL药剂的优势，训练速度更快，得分更高。实体实验实验指示了所提出的方法对简单组装任务的适用性。我们的工作提供了一种新的观点，即使用运动原语和人类演示来利用RL的性能用于机器人应用。
算法、人工智能和基于简单规则的...
电子商务中的自动定价策略大致可分为两种形式 - 基于简单规则的定价策略（例如削减最低价格）和更复杂的人工智能 (AI) 驱动算法（例如强化学习 (RL) 算法）。虽然基于简单规则的定价仍然是最广泛使用的策略，但一些零售商已开始采用由 AI 驱动的定价算法。RL 算法由于能够自主学习最佳策略并适应竞争对手定价策略和市场环境的变化而特别适合定价。尽管人们普遍认为 RL 算法比基于规则的策略具有显着优势，但我们的大量定价实验表明，与 RL 定价算法竞争时，与多种 RL 算法相互竞争的情况相比，基于简单规则的算法可能会导致更高的价格并使所有卖家受益。