摘要。月球着陆器问题在强化学习领域提出了巨大的挑战,因此需要创建能够在月球表面安全着陆的自主航天器。在这项研究中,研究并检查了三种突出的增强学习算法,即深Q-Network(DQN),Double Deep Q-Network(DDQN)和策略梯度,并进行了检查并检查以解决此问题。最初,将神经网络和Q学习的DQN算法利用以学习最佳着陆政策。通过通过神经网络培训近似Q值,该航天器学会了做出明智的决定,从而成功着陆。随后,使用减轻高估偏差的DDQN算法。利用两个神经网络(一个用于行动选择,另一个用于评估),DDQN可提高稳定性和收敛性,从而产生精致的着陆策略。此外,这项工作探讨了策略梯度方法在此问题中的应用。通过使用梯度上升直接优化策略,该航天器可以最大化累积奖励,从而实现有效而准确的降落。通过广泛的模拟来评估该算法的性能,该模拟涵盖了不同的月球表面条件。结果证明了这些方法的有效性,展示了它们促进成功和燃油效率的航天器登陆的能力。总而言之,这项研究有助于了解Lunar Lander问题的DQN,DDQN和政策梯度算法。这些发现突出了每种算法的独特优势及其在自主航天器上的潜力。这项研究所获得的见解对未来的月球任务中智能着陆系统的发展具有影响,从而推进了航空航天应用中强化学习领域。
摘要。股票交易策略是指用于在金融市场上购买,出售或持有股票的明智决定的结构化方法。这些策略在管理风险的同时最大程度地提高回报方面起着至关重要的作用。多年来,交易策略已从专家驱动的,时间密集型的方法转变为合并机器学习算法,这些算法获得了大量的历史数据。股票交易策略已经从专家驱动的方法演变为结合机器学习算法以及最近的人工智能和深度学习技术。本文深入研究了对贸易中深厚的增强学习的利用。它概述了深入强化学习(DRL)原则及其与交易的相关性,随后探索了交易策略中使用的五个特定机器学习模型。每个模型都根据其特征,原理,优势和局限性详细介绍。此外,本文讨论了评估指标,并简要了解了同一股票内的潜在结果差异。讨论部分分析了所提出的模型的优势和弱点,并突出了其潜力。结论总结了所采用的方法以及观察到的结果,并提出了将DRL用于交易策略的未来研发的大概。
到目前为止,统治计算范式一直是云计算,其设施集中在大型和偏远地区。具有关键潜伏期和带宽约束的新型数据密集型服务,例如自主驾驶和远程健康,将在一个令人饱和的网络下进行。相反,边缘计算使计算设施更接近最终用户,即在边缘数据中心(EDCS)中的OAD工作负载。然而,Edge compling compling combut compland compling compland complos 诸如EDC尺寸,能源消耗,价格和以用户为中心的设计等其他问题。 本研究通过通过两种方式通过深厚的强化学习来优化边缘计算方案,通过两种方式优化边缘计算方案以及智能资源分配来解决这些挑战。 为此,使用用户需求和硬件行为的真实痕迹对能量吸引的策略进行了模拟,模拟和优化几个边缘计算方案。 这些场景包括使用硬件原型设计的气冷和两相浸入冷却的EDC,以及基于优势参与者 - 批评(A2C)代理的资源分配管理器。 我们的沉浸冷却EDC的IT能量模型的NRMSD为3.15%,R 2诸如EDC尺寸,能源消耗,价格和以用户为中心的设计等其他问题。本研究通过通过两种方式通过深厚的强化学习来优化边缘计算方案,通过两种方式优化边缘计算方案以及智能资源分配来解决这些挑战。为此,使用用户需求和硬件行为的真实痕迹对能量吸引的策略进行了模拟,模拟和优化几个边缘计算方案。这些场景包括使用硬件原型设计的气冷和两相浸入冷却的EDC,以及基于优势参与者 - 批评(A2C)代理的资源分配管理器。我们的沉浸冷却EDC的IT能量模型的NRMSD为3.15%,R 2
4孟买大学摘要客户流失分析计算机科学系副教授是业务战略的关键组成部分,在该行业中,保留客户对于盈利能力和增长至关重要。本研究旨在调查影响电信领域客户流失的因素,利用客户互动和人口统计数据的全面数据集。使用高级数据分析技术,包括机器学习算法和统计建模,我们确定了搅拌的重要预测因子。诸如合同长度,客户任期,服务使用模式和客户服务互动等因素与流失率高度相关。我们的发现表明,合同长度较短且任期较短的客户更有可能流失,而与客户服务进行定期互动的客户不太可能这样做。此外,该研究强调了有针对性的保留策略的重要性,例如个性化优惠和积极的客户服务干预措施,以减少流失。该分析的含义超出了电信行业,为寻求减少客户流失并增强客户寿命价值的各个部门的企业提供了宝贵的见解。通过了解流失的驱动因素并实施数据驱动策略,公司可以更好地分配资源并提高客户保留率。此摘要总结了客户流失分析的关键方面,包括其目标,方法,发现以及对企业的更广泛影响。1。这项研究强调了数据驱动决策在减轻客户流失方面的重要性,并强调需要在当今竞争激烈的市场中持续监测和适应保留策略。关键字:机器学习,流失率,客户保留率,探索性数据分析,客户反馈和调查,流失预测模型。引言客户流失分析是当今竞争格局中企业的关键过程,尤其是那些在基于订阅的模型,电信,电子商务和其他各种行业中运作的过程。是指对客户流失的检查或客户停止与公司产品或服务的关系的费率。
摘要:钒氧化还原电池(VRFB)在过去几十年中在混合储能系统(HESS)中发挥了重要作用,这是由于其独特的特征和优势。因此,对VRFB模型的准确估计在大规模存储应用中非常重要,因为它们对于在嵌入式能源体系结构中纳入了储能系统和控制算法的独特特征是必不可少的。在这项工作中,我们提出了一种新颖的方法,该方法结合了基于模型的和数据驱动的技术来预测电池状态变量,即电荷状态(SOC),电压和电流。我们的建议利用增强了深层增强学习技术,特别是深层Q学习(DQN),通过将Q学习与神经网络相结合以优化VRFB特异性参数,从而确保真实数据和模拟数据之间的稳健拟合度。我们提出的方法在电压预测中的现有方法优于现有方法。随后,我们通过纳入了第二种深度RL算法(Dueling DQN)来增强所提出的方法,这是DQN的改进,结果提高了10%的结果,尤其是在电压预测方面。所提出的方法导致了准确的VFRB模型,该模型可以推广到几种类型的氧化还原流量。
相关工作:QEC代码构建的先前计算方法仅限于找到与图形[3]相关的代码子类(但不是编码电路)的子类,或者基于昂贵的数值贪婪搜索查找稳定器代码[4]。也已经开发了基于ML的方法,例如[5 - 8]。[7]还设定了寻找代码及其编码电路的任务,但这是使用涉及连续参数化门的各种量子电路完成的,这导致了更为昂贵的数值模拟,最终仅是近似QEC方案。我们基于RL的方法不依赖于任何人提供的电路Ansatz,可以直接使用任何给定的离散门集,并且能够利用高效的Clifford模拟。特别是,我们能够发现较大量子数(14 vs 15)和较大的代码距离(4 vs 5)的代码和编码电路。
摘要:通过破坏性腐蚀过程来防止具体的恶化,将单个有机化合物或混合物用作有机腐蚀抑制剂(OCIS)而不是无机化学物质正在变得非常有吸引力的实践。由于OCI在生产和环境命运方面对其生态友好,因此与著名的无机添加剂(例如金属亚硝酸盐,铬酸盐或砷酸盐)相比,它们具有多个优势。在本文中,综述了不同的单个有机化合物(自然或合成起源)以及用于延长混凝土结构寿命的混合物的应用。在使用单个有机化合物的使用示例性较小之后,根据其主要功能组,对使用的OCI进行了越来越频繁的OCI。之后,调查了合成或天然起源的化合物混合物,使用天然提取物和生物量的使用。最后,讨论了官能团在前10个抑制剂分子中的效果,OCI的毒性,它们对混凝土物理机械特性的影响以及其长期性能。
Oak Ridge,TN 37831,美国{Amasyalik,Yanliu,zandih }@ornl.gov摘要 - Reinforeveres Learning(RL)是一种强大的工具,在许多领域显示了许多领域,例如机器人和游戏。 由于RL算法通过与环境连续交互来学习最佳控制策略,因此这些算法需要大量数据才能学习,这将其应用限制为广泛的域。 因此,需要提高RL的培训和数据效率。 为了解决这一研究差距,本文提出了一种转移学习(TL)方法,以通过减少数据需求,从而减少培训时间来提高RL算法的效率。 为了证明拟议的方法,进行了从一组建筑物到另一个建筑物的知识转移。 结果表明,所提出的TL方法是一种有前途的方法,可以有效地利用类似RL任务的信息并减少RL算法的数据需求。Oak Ridge,TN 37831,美国{Amasyalik,Yanliu,zandih }@ornl.gov摘要 - Reinforeveres Learning(RL)是一种强大的工具,在许多领域显示了许多领域,例如机器人和游戏。由于RL算法通过与环境连续交互来学习最佳控制策略,因此这些算法需要大量数据才能学习,这将其应用限制为广泛的域。因此,需要提高RL的培训和数据效率。为了解决这一研究差距,本文提出了一种转移学习(TL)方法,以通过减少数据需求,从而减少培训时间来提高RL算法的效率。为了证明拟议的方法,进行了从一组建筑物到另一个建筑物的知识转移。结果表明,所提出的TL方法是一种有前途的方法,可以有效地利用类似RL任务的信息并减少RL算法的数据需求。
可以将预测性维护归类为(i)预后:预测失败并提前通知替换或修复(剩余使用寿命或简短的RUL通常用作预后方法,这是对设备或系统剩余寿命的估计,直到它变得无功能性[20]); (ii)诊断:通过因果分析或(iii)主动维护来预测未来失败的实际原因:预测并减轻故障模式和条件发展之前[6]。虽然主动维护捕获了潜在失败的根本原因,但预测维护执行了整体数据分析,以确保安排的维护。在本文中,将在预测性维护涡轮增压引擎的背景下进行研究[4,18]。
使用各种成像方式获得了手术图像,超声(US)扫描是与机器人技术结合进行广泛研究的扫描。在过去的二十年中,研究人员已经开始探索机器人技术在应用美国扫描中的潜力。通过将机器人臂配备探针,机器人可以移动探针以对我们进行扫描。机器人操纵器的准确性,一致性,技巧和可操作性可用于改善实时超声的获取和实用性[25]。但是,要获得高质量的超声图像,至关重要的是,将美国探测到正确的扫描平面[26]并保持合理且一致的探针皮肤接触力[27],如图5。因此,标准扫描平面定位和接触力控制是机器人美国的两个主要挑战,到目前为止,已经进行了一些研究,利用DRL来解决它们。在表1中,列出了本节中9个审核论文中使用的方法,指标和结果。