XiaoMi-AI文件搜索系统
World File Search SystemDDPG
摘要 - 生成扩散模型（GDMS），在对各种域的复杂数据分布进行建模方面取得了显着的进步。同时，D
摘要 - 生成扩散模型（GDMS），在对各种域的复杂数据分布进行建模方面取得了显着的进步。与此同时，深度加固学习（DRL）在优化Wi-Fi网络性能方面已显示出重大改进。Wi-Fi优化问题对于数学上的模型来说是高度挑战性的，DRL方法可以绕过复杂的数学建模，而GDMS在处理复杂的数据建模方面表现出色。因此，将DRL与GDM相结合可以相互增强其功能。Wi-Fi网络中当前的MAC层访问机制是分布式协调函数（DCF），它在大量端子中大大降低了性能。在这项研究中，我们提出了深层扩散确定性策略梯度（D3PG）算法，该算法将扩散模型与深层确定性策略梯度（DDPG）框架集成在一起，以优化Wi-Fi网络性能。据我们所知，这是在Wi-Fi性能优化中应用这种集成的第一项工作。我们提出了一种基于D3PG算法的共同调整争议窗口和聚合框架长度的访问机制。通过模拟，我们证明了这种机制在密集的Wi-Fi方案中显着优于现有的Wi-Fi标准，即使用户数量急剧增加，也保持了性能。
pdf div>
1主要功能3 1.1安装。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。3 1.2入门。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。5 1.3强化学习技巧和技巧。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。6 1.4强化学习资源。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。12 1.5 RL算法。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。12 1.6示例。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。13 1.7矢量化环境。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。28 1.8政策网络。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。47 1.9使用自定义环境。 。 。47 1.9使用自定义环境。。。。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>56 1.10回调。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>584 1.11张板集成。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>69 1.12集成。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>77 1.13 RL基线3动物园。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>82 1.14 SB3囊泡。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。84 1.15稳定的基线JAX（SBX）。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。85 1.16模仿学习。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。86 1.17从稳定的生物线迁移。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。87 1.18与NAN和INF一起挖掘。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 90 1.19开发人员指南。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。87 1.18与NAN和INF一起挖掘。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。90 1.19开发人员指南。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。93 1.20节省和加载。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。95 1.21导出模型。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。96 1.22基础RL类。。。。。。。。。。。。。。。。。。。。。。。。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>100 1.23 A2C。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>110 1.24 DDPG。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div>110 1.24 DDPG。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。。。。。。123 1.25 DQN。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。133 1.26她的。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。143 1.27 ppo。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。147 1.28囊。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。160 1.29 TD3。。。。。。。。。。。。。。。。。。。。。。。。。。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>172 1.30 Atari包装纸。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 183 1.31环境用途。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div>172 1.30 Atari包装纸。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>183 1.31环境用途。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>186 1.32自定义环境。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。188 1.33概率分布。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。192 1.34评估助手。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。206 1.35健身环境检查器。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。207 1.36监视器包装器。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。207 1.37记录仪。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。209 1.38动作噪声。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。218 1.39 UTILS。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。218 1.39 UTILS。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。219
深层视觉引导和深层增强学习算法，用于用于功率分配的多人孔组装任务，实时运行robo
摘要功率分销网络的检查和维护对于有效地向消费者提供电力至关重要。由于电源分配网络线的高电压，手动现场直线操作很难，有风险和不足。本文研究了一个具有自主工具组装功能的功率分配网络实时运营机器人（PDLOR），以替代各种高风险电气维护任务中的人。为了应对PDLOR的动态和非结构化工作环境中工具组装的挑战，我们提出了一个框架，该框架包括深层视觉引导的粗糙本地化以及先验知识以及模糊逻辑驱动的深层确定性策略梯度（PKFD-DPG）高级装配算法。首先，我们提出了基于Yolov5的多尺度识别和本地化网络，该网络使PEG-HOLE可以快速接近并减少无效的探索。第二，我们设计了一个主要的合并奖励系统，其中主线奖励使用事后的经验重播机制，而辅助奖励基于模糊的逻辑推理机制，解决了学习过程中无效的探索和稀疏奖励。此外，我们通过模拟和物理实验来验证提出算法的有效性和优势，并将其性能与其他组装算法进行比较。实验结果表明，对于单芯组装任务，PKFD-DPG的成功率比具有功能的奖励功能的DDPG高15.2％，比PD力控制方法高51.7％。对于多工具组装任务，PKFD-DPG方法的成功率比其他方法高17％和53.4％。
现实世界引擎控制的安全加固学习
这项工作介绍了用于应用强化学习（RL）的工具链，特别是在安全至关重要的现实世界环境中的深层确定性政策梯度（DDPG）算法。作为示例性应用，在均质电荷压缩点火（HCCI）模式下的单缸内燃机测试台上证明了瞬态载荷控制，这表明高热E FFI且发电率较低。但是，HCCI由于其非线性，自回归和随机性质而对传统控制方法构成了挑战。rl提供了可行的解决方案，但是，在应用于HCCI时，必须解决安全问题（例如压力上升率过高）。单个不合适的控制输入会严重损坏发动机或引起失火并关闭。此外，不知道工作限制，必须通过实验确定。为了减轻这些风险，实施了基于K-Neareb最邻居算法的实时安全监控，从而可以与Testbench进行安全互动。当RL代理通过与测试板互动来学习控制策略时，该方法的可行性被证明。均方根误差为0。1374 bar用于指定的平均e ff效力压力，可与文献中的基于神经网络的控制器相当。通过调整代理商的政策增加乙醇能源份额，在维持安全性的同时促进可再生燃料的使用，从而进一步证明了工具链的灵活性。这种RL方法解决了将RL应用于安全至关重要的现实环境的长期挑战。开发的工具链具有其适应性和安全机制，为RL在发动机测试板和其他关键性设置中的未来适用性铺平了道路。
基于攻击防御的强化学习学习隐私的方法，以针对双重拍卖市场推理攻击
摘要 - 作为一种公平而有效的资源分配方法拍卖机制已被广泛用于品种交易方案，例如广告，众汇和频谱。但是，除了获得更高的利润和满意度外，隐私问题还引起了研究人员的关注。在本文中，我们主要研究了针对间接推理攻击的双重拍卖市场中保存隐私问题。大多数现有作品都采用差异隐私理论来防御推断攻击，但存在两个问题。首先，差异隐私（DP）的“难以区分”无法阻止拍卖市场中持续估值。第二，尚未解决差异隐私部署中的隐私 - 实用性权衡（PUT）。为此，我们提出了一种基于攻击防御的强化钢筋学习隐私方法 - 保存实际上在双重拍卖中提供隐私保护的方法。首先，拍卖师充当防守者，为投标人的估值增加了噪音，然后充当发射推理攻击的对手。之后，拍卖师使用攻击结果和拍卖结果作为指导下一次部署的参考。上述过程可以视为马尔可夫决策过程（MDP）。国家是当前步骤下每个投标人的估值。动作是添加到每个竞标者中的噪声。奖励由隐私，公用事业和培训速度组成，其中攻击成功率和社会福利被视为隐私和效用的衡量标准，使用延迟惩罚条款来减少培训时间。利用深层确定性政策梯度（DDPG）算法，我们建立了一个参与者批评网络来解决MDP问题。最后，我们进行了广泛的评估，以验证我们提出的方法的性能。结果表明，与其他现有的基于DP
Bluesky-Gym：空中交通应用的加固学习环境
摘要 - 强化学习（RL）正在迅速成为空中交通管理和控制（ATM/ATC）中的主要研究方向。许多国际财团和个人作品都探索了其对不同ATC和U空间 / Urban Aircraft系统交通管理（UTM）任务的适用性，例如合并交通流，成功的水平有所不同。但是，迄今为止，还没有比较这些RL技术的共同基础，许多研究方从头开始构建自己的模拟器和场景。这可能会降低这项研究的价值，因为算法的性能无法轻易验证，也不能与其他实现相比。从长远来看，这会阻碍发展。体育馆图书馆显示了其他研究领域的库，可以通过提供一组标准化环境来解决，这些环境可用于测试不同的算法，并将它们与基准结果进行比较。本文提出了Bluesky-gym：为航空域提供类似的测试环境的库，建立在现有的开源空中交通模拟器Bluesky上。当前的Bluesky-Gym环境从垂直下降环境到静态障碍物和交通流量的合并。建立在体育馆API和Bluesky空中交通模拟器上，为ATC特定的RL性能基准提供了开源解决方案。在Bluesky-Gym的初始发布中，提出了7个功能环境。本文提出了PPO，SAC，DDPG和TD3的初步实验。结果表明，在所有环境中都具有默认超参数的所有环境。在某些环境中，出现较大的性能差距，并且在政策PPO上经常落后，但总的来说，没有明确的算法在总奖励方面超过了其他人的表现。关键字 - 空气流量管理（ATM），增强学习，自动化，基准测试，人工智能
自动交易策略的强化学习框架
在自动股票交易中使用增强学习（RL）由于其潜力通过直接从市场数据中学习来优化交易策略而引起了重大兴趣。该领域的早期工作以传统机器学习技术的基础为基础，朝着能够与财务环境互动的更具动态的模型迈进。Mnih等人做出了开创性的贡献。（2015）带有深Q-Networks（DQN），它为RL代理打开了在具有较大州空间（例如金融市场）环境中处理复杂决策的大门。这一进步激发了研究人员将DQN和其他RL算法应用于股票市场，在该股市中，代理商必须学会在不确定的不确定条件下做出买卖，出售或执行决定。Moody和Saffell（2001）的研究首先证明了将RL应用于直接股票交易的可行性。他们的工作将交易任务视为一个顺序决策过程，为将来的基于RL的系统奠定了基础，以优化累积回报。后来，诸如近端政策优化（PPO）和深层确定性政策梯度（DDPG）等算法已越来越多地应用于金融市场。这些算法，由Schulman等人介绍。（2017）和Lillicrap等。（2016）分别提供了在具有连续行动空间的环境中提高稳定性和性能，这对于必须精确做出交易决策的金融市场至关重要。总而言之，关于使用加强学习的自动股票交易的文献已取得了长足的进步，尤其是随着深度学习和高级RL算法的出现。虽然基于RL的代理商展示了超过传统方法的潜力，与数据质量，风险管理，计算复杂性以及对实时市场状况的适应性相关的挑战仍然是积极研究的领域。
自适应多智能体深度强化学习，实现及时的医疗干预
摘要 — 有效的患者监测对于及时干预和改善医疗结果至关重要。传统的监测系统通常难以处理生命体征波动的复杂动态环境，从而导致延迟识别危急情况。为了应对这一挑战，我们提出了一种使用多智能体深度强化学习 (DRL) 的新型 AI 驱动患者监测框架。我们的方法部署了多个学习代理，每个代理都专用于监测特定的生理特征，例如心率、呼吸和体温。这些代理与通用医疗监测环境交互，学习患者的行为模式，并根据估计的紧急程度做出明智的决策以提醒相应的医疗应急小组 (MET)。在本研究中，我们使用来自两个数据集的真实生理和运动数据来评估所提出的多智能体 DRL 框架的性能：PPG-DaLiA 和 WESAD。我们将结果与几个基线模型进行了比较，包括 Q-Learning、PPO、Actor-Critic、Double DQN 和 DDPG，以及 WISEML 和 CA-MAQL 等监测框架。我们的实验表明，所提出的 DRL 方法优于所有其他基线模型，可以更准确地监测患者的生命体征。此外，我们进行超参数优化，以微调每个代理的学习过程。通过优化超参数，我们提高了学习率和折扣因子，从而提高了代理在监测患者健康状况方面的整体表现。与传统方法相比，我们的 AI 驱动的患者监测系统具有多种优势，包括能够处理复杂和不确定的环境、适应不同的患者状况以及在没有外部监督的情况下做出实时决策。然而，我们发现了与数据规模和未来生命体征预测相关的局限性，为未来的研究方向铺平了道路。
深度学习在湍流中的应用
摘要 本论文研究了深度学习和深度强化学习在湍流模拟中的应用。深度学习模型经过训练可以进行时间和空间预测，而深度强化学习则应用于流量控制问题，即减少明渠流中的阻力。长短期记忆 (LSTM, Hochreiter & Schmidhuber 1997) 网络和 Koopman 非线性强迫 (KNF) 模型经过优化，可以在两种降阶湍流模型中执行时间预测，即 Moehlis 等人 (2004) 提出的九方程模型和最小通道流的截断适当正交分解 (POD) (Jim´enez & Moin 1991)。在第一个应用中，这两个模型都能够产生准确的短期预测。此外，预测的系统轨迹在统计上是正确的。KNF 模型在短期预测方面优于 LSTM 网络，并且训练计算成本低得多。在第二个任务中，只有 LSTM 可以成功训练，预测出统计上准确的轨迹。空间预测是在两种湍流中进行的：明渠流和边界层流。全卷积网络 (FCN) 用于使用壁面测量值预测给定壁面法线位置的二维速度波动场（反之亦然）。由于这些模型的非线性特性，它们提供了比扩展 POD（Bor'ee 2003）等最佳线性方法更好的重建性能。最后，我们展示了深度强化学习在发现湍流新控制策略方面的潜力。通过将流体动力学问题构建为多智能体强化学习环境，并使用位置不变的深度确定性策略梯度 (DDPG) 算法训练智能体，我们能够学习一种控制策略，该策略可显著减少 30% 的阻力，比现有策略提高约 10 个百分点。
通过预测分析增强网络安全
摘要 - 启用6G的车辆网络面临着确保超级可靠的低延迟通信（URLLC）及时提供安全关键信息的挑战。车辆对所有（V2X）通信系统的现有资源分配方案主要依赖于基于传统优化的算法。但是，由于解决方案方法的高复杂性和沟通开销，这些方法通常无法保证在动态车辆环境中URLLC应用的严格可靠性和潜伏期需求。本文提出了一种基于联合功率和块长度分配的基于新颖的深钢筋学习（DRL）框架，以最大程度地减少基于URLLC的下链接V2X通信系统的有限块长度（FBL）示例中最坏的解码错误概率。该问题被称为非凸层混合构成非局部编程问题（MINLP）。最初，基于在块长度中得出解码误差概率的关节凸的基础，开发了一种基于优化理论的算法，并在感兴趣的区域内传输功率变量。随后，提出了一种有效的事件触发的基于DRL的算法来解决关节优化问题。将事件触发的学习纳入DRL框架中，可以评估是否启动DRL流程，从而减少DRL过程执行的数量，同时保持合理的可靠性性能。DRL框架由两层结构组成。在第一层中，在中央教练中建立了多个深Q-NETWORKS（DQN）以进行块长度优化。第二层涉及参与者 - 批评网络，并利用了基于深层的确定性策略颁奖典礼（DDPG）的算法来优化功率分配。仿真结果表明，所提出的事件触发的DRL方案可以实现关节优化方案的95％，同时为不同的网络设置减少DRL执行最多24％。