XiaoMi-AI文件搜索系统
World File Search SystemDDPG
使用深增强的学习辅助远程掌握机器人
摘要：由于对肩膀，手臂和前臂中肌肉和感觉的神经网络的损害，臂丛神经损伤（BPI）可显着降低受影响者的生活功能和质量。根据世界卫生组织（WHO）的说法，全球残疾调整的生命年（DALYS）的相当一部分可归因于包括BPI在内的上肢伤害。远程医疗可以改善BPI患者的访问问题，尤其是在中低收入的国家。这项研究使用了深入的加固学习（DRL）辅助的远程机器人，特别是深层确定性策略梯度（DDPG）算法，为BPI患者提供肘部弯曲运动，为肘部恢复。使用远程机器人在六个月的部署期间使用，DDPG驱动了DRL体系结构，以使用其机器人臂最大程度地以患者为中心的运动。与常规的康复技术相比，在远程掌握机器人ARM的辅助下，患者的力量劳累平均增加了4.7％，运动范围（ROM）提高了5.2％。根据这项研究的发现，远程敏感机器人是BPI患者在家康复的宝贵且实用的方法。这项技术为远程居民的进一步研究和发展铺平了道路，对于应对更广泛的身体康复挑战至关重要。
活力
电池储能系统 (BESS) 在配电网中的大规模集成有可能提高光伏 (PV) 发电的利用率并减轻电动汽车 (EV) 快速充电行为造成的负面影响。本文提出了一种基于深度强化学习的新型 BESS 功率调度策略，该策略安装在有源配电网中。该网络包括电动汽车快速充电需求、光伏发电和主电网的电力套利。目的是在保持电压限制的同时最大化 BESS 运营商的利润。新策略采用双延迟深度确定性策略梯度 (TD3) 算法，需要预测光伏发电和电动汽车智能充电需求。将提出的策略与深度确定性策略梯度 (DDPG)、粒子群优化和模拟退火算法进行了比较，以验证其有效性。使用 Project Shift（英国电网创新）的智能电动汽车充电数据集和英国光伏数据集进行了案例研究。 TD3 和 DDPG 算法的内部收益率结果分别为 9.46% 和 8.69%，这表明所提出的策略可以增强电力调度，并且在降低储能平准化成本和提高净现值方面优于主流方法。
基于纵向导弹系统的基于综合指导和控制
通常，使用各种方法（例如非线性控制和最佳控制）开发了导弹指导和控制系统。它们由指导和控制组成，并已单独开发。先前的研究是在指导循环与控制循环之间没有耦合的前提下进行的。在Ref [1]中，为导弹控制设计了三环结构，并通过线性二次调节器得出了控制增益。ref [2]使用后替式技术，并结合了状态重建和神经网络以增强鲁棒性。ref [3]使用非线性滑动模式控制（SMC）技术来避免聊天问题，并根据边界层厚度分析E ff ect。尽管先前研究的表现令人满意，但是设计和整合指导和控制是复杂而昂贵的。另外，由于快速的几何变化或系统的稳定性，控制器无法遵循加速命令。解决这些问题，是一种同时处理指导和控制的集成指导和控制方法（IGC）。参考。 [4，5]定义了导弹的动力学，并基于模型预测控制（MPC）进行了IGC研究。 参考。 [6]设计了SMC，以最大程度地减少零-E ff ort-ort-biss（ZEM），即已知目标的操纵加速度的前提。 参考。 [7]开发了IGC系统，该系统通过将SMC技术与强大的干扰观察者相结合，可以使干扰可靠。参考。[4，5]定义了导弹的动力学，并基于模型预测控制（MPC）进行了IGC研究。参考。 [6]设计了SMC，以最大程度地减少零-E ff ort-ort-biss（ZEM），即已知目标的操纵加速度的前提。 参考。 [7]开发了IGC系统，该系统通过将SMC技术与强大的干扰观察者相结合，可以使干扰可靠。参考。[6]设计了SMC，以最大程度地减少零-E ff ort-ort-biss（ZEM），即已知目标的操纵加速度的前提。参考。 [7]开发了IGC系统，该系统通过将SMC技术与强大的干扰观察者相结合，可以使干扰可靠。参考。[7]开发了IGC系统，该系统通过将SMC技术与强大的干扰观察者相结合，可以使干扰可靠。参考。 [8]考虑了观察目标状态的带状搜索者的视野。 参考。 [9]考虑了末端冲击角，以增强截距的E ff效果。 参考。 [10]进行了一项研究，以使用两个快速和缓慢的控制器来应对快速的几何变化。 尽管总体研究产生了令人满意的表现，但他们也没有考虑使用噪音损坏的观察。 为了减轻这个问题，深入的加强学习（DRL）正在吸引人们作为一种新方法。 DRL是增强学习的领域，它结合了深层的神经网络和增强学习算法，因此代理商与环境互动并以最大的奖励学习了政策。 这种方法在没有预定义的解决方案的情况下解决了解决问题的巨大潜力，并已用于导弹指导和控制系统。 Ref [11]进行了一项研究，以使用深层确定性策略梯度（DDPG）技术替换导弹态度控制器。 参考。 [12]试图使用2D运动学中的DDPG技术替换现有的指导技术。 但是，基于DRL的研究并未在IGC系统中积极进行。 在这项研究中，为了克服上述研究的局限性，我们提出了基于DRL的集成指导和控制法。 此方法通过将指导和控制纳入策略网络而进行。 为此，导弹参考。[8]考虑了观察目标状态的带状搜索者的视野。参考。 [9]考虑了末端冲击角，以增强截距的E ff效果。 参考。 [10]进行了一项研究，以使用两个快速和缓慢的控制器来应对快速的几何变化。 尽管总体研究产生了令人满意的表现，但他们也没有考虑使用噪音损坏的观察。 为了减轻这个问题，深入的加强学习（DRL）正在吸引人们作为一种新方法。 DRL是增强学习的领域，它结合了深层的神经网络和增强学习算法，因此代理商与环境互动并以最大的奖励学习了政策。 这种方法在没有预定义的解决方案的情况下解决了解决问题的巨大潜力，并已用于导弹指导和控制系统。 Ref [11]进行了一项研究，以使用深层确定性策略梯度（DDPG）技术替换导弹态度控制器。 参考。 [12]试图使用2D运动学中的DDPG技术替换现有的指导技术。 但是，基于DRL的研究并未在IGC系统中积极进行。 在这项研究中，为了克服上述研究的局限性，我们提出了基于DRL的集成指导和控制法。 此方法通过将指导和控制纳入策略网络而进行。 为此，导弹参考。[9]考虑了末端冲击角，以增强截距的E ff效果。参考。 [10]进行了一项研究，以使用两个快速和缓慢的控制器来应对快速的几何变化。 尽管总体研究产生了令人满意的表现，但他们也没有考虑使用噪音损坏的观察。 为了减轻这个问题，深入的加强学习（DRL）正在吸引人们作为一种新方法。 DRL是增强学习的领域，它结合了深层的神经网络和增强学习算法，因此代理商与环境互动并以最大的奖励学习了政策。 这种方法在没有预定义的解决方案的情况下解决了解决问题的巨大潜力，并已用于导弹指导和控制系统。 Ref [11]进行了一项研究，以使用深层确定性策略梯度（DDPG）技术替换导弹态度控制器。 参考。 [12]试图使用2D运动学中的DDPG技术替换现有的指导技术。 但是，基于DRL的研究并未在IGC系统中积极进行。 在这项研究中，为了克服上述研究的局限性，我们提出了基于DRL的集成指导和控制法。 此方法通过将指导和控制纳入策略网络而进行。 为此，导弹参考。[10]进行了一项研究，以使用两个快速和缓慢的控制器来应对快速的几何变化。尽管总体研究产生了令人满意的表现，但他们也没有考虑使用噪音损坏的观察。为了减轻这个问题，深入的加强学习（DRL）正在吸引人们作为一种新方法。DRL是增强学习的领域，它结合了深层的神经网络和增强学习算法，因此代理商与环境互动并以最大的奖励学习了政策。这种方法在没有预定义的解决方案的情况下解决了解决问题的巨大潜力，并已用于导弹指导和控制系统。Ref [11]进行了一项研究，以使用深层确定性策略梯度（DDPG）技术替换导弹态度控制器。参考。 [12]试图使用2D运动学中的DDPG技术替换现有的指导技术。 但是，基于DRL的研究并未在IGC系统中积极进行。 在这项研究中，为了克服上述研究的局限性，我们提出了基于DRL的集成指导和控制法。 此方法通过将指导和控制纳入策略网络而进行。 为此，导弹参考。[12]试图使用2D运动学中的DDPG技术替换现有的指导技术。但是，基于DRL的研究并未在IGC系统中积极进行。在这项研究中，为了克服上述研究的局限性，我们提出了基于DRL的集成指导和控制法。此方法通过将指导和控制纳入策略网络而进行。为此，导弹
基于多代理的深钢筋学习... -Dr -ntu
图1-1。 新加坡太阳能安装的分布。 ....................................................................................................................................................................................................................................................................................................................................................................................... 1-2。 Installed capacity of PV systems ..................................................................... 15 Fig. 1-3。 用户类型的PV系统数.. ............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. 1-4欧洲年度太阳能PV安装容量2000-2021。 ................................................................................................................................................................................................................................................................................................................................................................................................................................. 1-5 European Top 10 Solar PV Markets 2000-2021............................................... 16 Fig. 1-6 Forecast of PV installations in European countries in 2025 ............................ 17 Fig. 1-7太阳能逆变器系统......................................................................................................................................................................................................................................................................................................................................................... 17 2-1。 提出的两个时间计电压/var控制框架。 ........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 2-2。 beta分布。 ............................................................................................. 30 Fig. 3-1。 RL的一般结构。 34 3-2。 DQN的一般框架。 .......................................................................... 35 Fig. 3-3。 DNN的结构。 ........................................................................................... 38 Fig. 3-4。 DDPG的框架。 4-1。 4-2。 4-3。1-1。新加坡太阳能安装的分布。.......................................................................................................................................................................................................................................................................................................................................................................................1-2。Installed capacity of PV systems ..................................................................... 15 Fig.1-3。用户类型的PV系统数.. .............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................1-4欧洲年度太阳能PV安装容量2000-2021。.................................................................................................................................................................................................................................................................................................................................................................................................................................1-5 European Top 10 Solar PV Markets 2000-2021............................................... 16 Fig.1-6 Forecast of PV installations in European countries in 2025 ............................ 17 Fig.1-7太阳能逆变器系统......................................................................................................................................................................................................................................................................................................................................................... 172-1。 提出的两个时间计电压/var控制框架。 ........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 2-2。 beta分布。 ............................................................................................. 30 Fig. 3-1。 RL的一般结构。 34 3-2。 DQN的一般框架。 .......................................................................... 35 Fig. 3-3。 DNN的结构。 ........................................................................................... 38 Fig. 3-4。 DDPG的框架。 4-1。 4-2。 4-3。2-1。提出的两个时间计电压/var控制框架。...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................2-2。beta分布。............................................................................................. 30 Fig.3-1。RL的一般结构。 34 3-2。 DQN的一般框架。 .......................................................................... 35 Fig. 3-3。 DNN的结构。 ........................................................................................... 38 Fig. 3-4。 DDPG的框架。 4-1。 4-2。 4-3。RL的一般结构。343-2。DQN的一般框架。.......................................................................... 35 Fig.3-3。DNN的结构。........................................................................................... 38 Fig.3-4。DDPG的框架。4-1。4-2。4-3。4-3。..................................................................................... 38 Fig.多时间计量控制的框架。............................................ 42 Fig.MA-DDPG的框架。............................................................................ 45 Fig.提议的MA-DDPG多时间尺度电压控制的框架.......... 46图5-1 IEEE 33-BUS分配系统框架。............................................................................................................................................................................................................................................................................................................................................5-2。Original voltage magnitude ............................................................................. 51 Fig.5-3。 奖励300集以下的奖励表现。 ............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. 5-4。 450集以下奖励表现。 ....................................................... 55 Fig. 5-5。 Reward performance under 500 episode ......................................................... 56 Fig. 5-6。 带有不同发作的电压幅度轮廓。 .................................... 56 Fig. 5-7。 总线的电压更改曲线14。 .................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 5-8。 Reward distribution profile ............................................................................. 58 Fig. 5-9。 在少量罚款和小奖励下奖励表现。 ......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 5-10。 .........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................5-3。奖励300集以下的奖励表现。.............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................5-4。 450集以下奖励表现。 ....................................................... 55 Fig. 5-5。 Reward performance under 500 episode ......................................................... 56 Fig. 5-6。 带有不同发作的电压幅度轮廓。 .................................... 56 Fig. 5-7。 总线的电压更改曲线14。 .................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 5-8。 Reward distribution profile ............................................................................. 58 Fig. 5-9。 在少量罚款和小奖励下奖励表现。 ......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 5-10。 .........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................5-4。450集以下奖励表现。....................................................... 55 Fig.5-5。 Reward performance under 500 episode ......................................................... 56 Fig. 5-6。 带有不同发作的电压幅度轮廓。 .................................... 56 Fig. 5-7。 总线的电压更改曲线14。 .................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 5-8。 Reward distribution profile ............................................................................. 58 Fig. 5-9。 在少量罚款和小奖励下奖励表现。 ......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 5-10。 .........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................5-5。Reward performance under 500 episode ......................................................... 56 Fig.5-6。带有不同发作的电压幅度轮廓。.................................... 56 Fig.5-7。总线的电压更改曲线14。....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................5-8。Reward distribution profile ............................................................................. 58 Fig.5-9。 在少量罚款和小奖励下奖励表现。 ......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... 5-10。 .........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................5-9。在少量罚款和小奖励下奖励表现。.........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................5-10。 .........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................5-10。.........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................在巨大的罚款和巨额奖励下奖励表现。5-11。 在巨大的罚款和小奖励下奖励表现。 .............................................................................................................................................................................................. 5-12。 Voltage magnitude profile ............................................................................. 60 Fig. 5-13。 逆变器控制代理，OLTC代理和CBS 的全局奖励曲线5-11。在巨大的罚款和小奖励下奖励表现。..............................................................................................................................................................................................5-12。 Voltage magnitude profile ............................................................................. 60 Fig. 5-13。 逆变器控制代理，OLTC代理和CBS 的全局奖励曲线5-12。Voltage magnitude profile ............................................................................. 60 Fig.5-13。 逆变器控制代理，OLTC代理和CBS 的全局奖励曲线5-13。逆变器控制代理，OLTC代理和CBS
跨环境高参数调谐用于增强学习
本文介绍了一种新的经验方法，即交叉环境超参数调谐基准，该方法使用单个超参数设置比较了环境之间的RL算法，从而鼓励算法开发对超级参数不敏感。我们证明，即使使用了很少的样品，这种基准对统计噪声具有鲁棒性，并且在重复的范围中获得了定性相似的结果。这种鲁棒性使得基准计算上的计算便宜，从而可以以低成本的统计良好见解。我们在一组六个小型控制环境（SC-CHTB）以及28个环境（DMC-CHTB）的整个DM控制套件上演示了CHTB的两个示例实例。最后，为了说明CHTB对现代RL算法的适用性，我们对连续控制文献中的一个开放问题进行了新的经验研究。我们充满信心地表明，Ornstein-Uhlenbeck噪声和不相关的高斯噪声在DMC-CHTB上使用DDPG算法探索没有有意义的差异。
基于模拟作战指挥与FRV-DDPG算法的空战自主机动决策
摘要：随着近年来无人机性能和智能化的提升，提高自主空战能力对无人机尤为重要。针对如何提高无人机自主空战机动决策能力，使其接近人工操控的问题，提出一种基于模拟操作指令与最终奖励值深度确定性策略梯度（FRV-DDPG）算法相结合的自主空战机动决策方法。首先，基于空战过程、无人机运动、导弹运动，建立六自由度（6-DOF）模型。其次设计了一种基于粒子群优化径向基函数（PSO-RBF）的预测方法来模拟敌机的作战指令，使得训练过程更加真实；然后提出一种改进的DDPG策略，将最终的奖励值按一定比例的时间返回到上一次的奖励值进行离线训练，可以提高算法的收敛速度。最后通过搭建仿真环境验证了算法的有效性。仿真结果表明，该算法可以提高无人机自主空战机动决策能力。
无线网络中资源约束多类调度的深度加固学习
摘要 - 在此处考虑了动态无线设置中多类调度的问题，其中可用有限的带宽资源分配以处理随机服务需求到达，而在有效载荷数据请求，延迟公差和重要性/优先级方面属于不同类别。除了异质流量外，另一个重大挑战还来自由于时间变化的沟通渠道而导致的随机服务率。现有的调度和资源分配方法，范围从简单的贪婪启发式和受限优化到组合设备，是针对特定网络或应用程序配置量身定制的，通常是次优的。在此帐户中，我们求助于深入的增强学习（DRL），并提出了分配深层确定性策略梯度（DDPG）算法，并结合了深度设置以解决上述问题。此外，我们提出了一种使用决斗网络的新颖方式，这将进一步提高绩效。我们所提出的算法在合成数据和实际数据上都进行了测试，显示了对组合和优化的基线方法的一致增长，以及状态调度计划指标。我们的方法可以使用Knapsack优化的功率和带宽资源降低13％的功率和带宽资源。
文章有监督的强化学习算法用于控制无人机盘旋
摘要：携带不同设备用于空中悬停操作的无人机的应用正在越来越广泛，但是目前，依赖于悬停控制的强化学习方法，目前有非常有意的研究，并且尚未在物理机器上实施。无人机在悬停控制方面的行为空间是连续且大规模的，这对于基本算法和基于价值的增强学习（RL）算法很难获得良好的结果。响应于这个问题，本文将观察者 - 演员（WAC）算法应用于无人机的悬停控制，该算法可以迅速锁定勘探方向并实现无人机悬停控制的高度鲁棒性，同时改善学习效率和降低学习成本。本文首先利用基于行为价值Q（QAC）和深层确定策略梯度算法（DDPG）的参与者批评算法，用于无人机悬停控制学习。随后，提出了带有添加观察者的批评算法，其中观察者使用带有神经网络作为动态监视的参数的PID控制器，将学习过程转换为监督学习。最后，本文使用了经典的增强学习环境图书馆，健身房和当前主流加固学习框架，PARL，用于
深度强化学习实现多能源智能电网的优化能源管理
摘要。本文提出了一种深度强化学习方法，用于智能电网中多能源系统的优化管理。智能电网中生产和存储单元的最优控制问题被表述为部分可观测马尔可夫决策过程 (POMDP)，并使用参与者-评论家深度强化学习算法进行解决。该框架在一个新型多能源住宅微电网模型上进行了测试，该模型涵盖电力、供暖和制冷存储以及热力生产系统和可再生能源发电。处理此类多能源系统的实时最优控制时面临的主要挑战之一是需要同时采取多种连续行动。所提出的深度确定性策略梯度 (DDPG) 代理已证明能够很好地处理连续状态和动作空间，并学会了同时对生产和存储系统采取多种行动，从而可以联合优化智能电网中的电力、供暖和制冷使用情况。这使得该方法可应用于更大规模多能源智能电网（如生态区和智能城市）的实时最优能源管理，这些电网需要同时采取多项连续行动。
evorl：一个GPU加速框架，用于进化增强学习
进化增强学习（EVORL）已成为一种有前途的方法，可以通过将进化计算（EC）与RL整合（EC）范式来克服传统强化学习（RL）的局限性。但是，基于人群的EC的性质大大提高了计算成本，从而限制了大规模设置中算法设计选择和可扩展性的探索。为了应对这一挑战，我们介绍了Evorl 1，这是针对GPU加速的第一个端到端EVORL框架。该框架对加速器（包括环境模拟和EC过程）执行了整个培训管道，通过矢量化和编译技术利用层次并行性，以实现较高的速度和可扩展性。此设计可以在一台计算机上进行有效培训。In addition to its performance-oriented design, EvoRL offers a comprehensive platform for EvoRL research, encompassing implementations of traditional RL algorithms (e.g., A2C, PPO, DDPG, TD3, SAC), Evolutionary Algorithms (e.g., CMA-ES, OpenES, ARS), and hybrid EvoRL paradigms such as Evolutionary-guided RL （例如，ERL，CEM-RL）和基于群体的自动（例如PBT）。该框架的模块化体系结构和用户友好的接口使研究人员可以无缝整合新组件，自定义算法并进行公平的基准测试和消融研究。该项目是开源的，可在以下网址找到：https：//github.com/emi-group/evorl。