XiaoMi-AI文件搜索系统
World File Search System强化
强化学习解码器容忍故障量子计算
张量网络方法已从基于基于基质产物状态的变异技术进行了发展，能够计算一维冷凝的晶格模型的特性到源自更精致状态的方法，例如旨在模拟二维模型物理学的预测纠缠对状态。在这项工作中，我们提倡范式，即对于二维费米子模型，矩阵 - 产品态仍然适用于比直接嵌入一维系统允许的明显更高的精度水平。为此，我们利用了费米子模式转换的方案，并克服了一维嵌入需要是局部的偏见。这种方法认真对待洞察力，即对矩阵态的多种形式和模式转换的单一多种流形，可以更准确地捕获自然相关结构。通过证明新兴模式中残留的低水平纠缠水平，我们表明矩阵态可以很好地描述基态。通过研究晶格尺寸的无旋转费用的相变高达10×10，该方法的功率被例证了。
具有多州降解和深度强化学习的下水道管道的维护策略
大规模的基础设施系统对社会欢迎至关重要，其有效管理需要造成各种复杂性的战略前提和干预方法。我们的研究解决了涉及下水道资产的预后和健康管理（PHM）框架内的两个挑战：对跨严重水平的管道降解并制定有效的维护政策。我们采用多州降解模型（MSDM）来代表下水道管道中的随机降解过程，并使用深度加固学习（DRL）来制定维护策略。荷兰下水道网络的案例研究例证了我们的方法论。我们的发现证明了该模型在产生超过启发式方法的智能，节省成本的维护策略方面的效率。它根据管道的年龄来调整其管理策略，选择一种被动方法，用于新的管道，并过渡到较老的策略，以防止失败和降低成本。这项研究高光DRL在优化维护政策方面的潜力。未来的研究将通过合并部分可观察性，探索各种强化学习算法并将这种方法扩展到全面的基础架构管理，以改善模型。
具有人工智能规划模型的分层强化学习
两种常见的顺序决策方法是人工智能规划 (AIP) 和强化学习 (RL)。每种方法都有优点和缺点。AIP 具有可解释性，易于与符号知识集成，并且通常很高效，但需要预先指定逻辑域，并且对噪声敏感；RL 只需要指定奖励，并且对噪声具有鲁棒性，但样本效率低下，不易获得外部知识。我们提出了一种将高级规划与 RL 相结合的综合方法，保留了可解释性、迁移和效率，同时允许对低级规划操作进行鲁棒学习。我们的方法通过在 AI 规划问题的状态转换模型和马尔可夫决策过程 (MDP) 的抽象状态转换系统之间建立对应关系，从 AIP 运算符定义分层强化学习 (HRL) 中的选项。通过添加内在奖励来学习选项，以鼓励 MDP 和 AIP 转换模型之间的一致性。我们通过比较 MiniGrid 和 N 室环境中 RL 和 HRL 算法的性能来展示我们的集成方法的优势，展示了我们的方法相对于现有方法的优势。
深度强化学习
[1] R. Sutton和A. Barto，《加固学习简介》，麻省理工学院出版社，1998年。[2] C. Szepesvari，《增强学习算法》，Morgan＆Claypool Publishers，2010年。[3] C. Watkins，从延迟的奖励中学习，博士学位论文，剑桥大学，英格兰，1989年。[4] M. Wiering和M. Van Otterlo，加固学习：最新的ART，Springer，2014年。[5] M. Puterman，马尔可夫决策过程：离散随机动态编程，Wiley，1994年。[6] D. P. Bertsekas，动态编程和最佳控制，第一卷和II，雅典娜科学，2017年。[7] W. B. Powell，近似动态编程，Wiley，2011年。[8]选定的纸
离线强化学习的隐式和明确的政策约束
离线增强学习（RL）旨在根据历史数据改善目标政策而不是行为政策。离线RL的一个主要问题是分配转移导致Q值估计的分布转移。大多数现有的作品都集中在行为克隆（BC）或最大化Q学习方法以抑制分布转移。BC方法试图通过将目标策略限制为离线数据来减轻转移，但它使学习的策略高度保守。另一方面，最大化Q学习方法采用悲观的机制来通过根据动作的不确定性来最大化Q值和惩罚Q值来产生动作。但是，生成的措施可能是算法的，从而导致预测的Q值高度不确定，这反过来又将误导该策略以生成下一个动作。为了减轻分配转移的不利影响，我们建议通过统一Q学习和行为克隆以应对探索和剥削难题来隐含和明确地限制政策。对于隐式约束方法，我们建议通过致力于使目标策略和行为策略的行动无法区分的生成对抗网络统一行动空间。对于显式约束方法，我们会提出多重重要性采样（MIS），以了解每个状态行动对的优势权重，然后将其用于抑制或充分使用每个状态行动对。D4RL数据集上的广泛实验表明，我们的方法可以实现出色的性能。MAZE2D数据上的结果表明，MIS与单个重要性采样更好地解决了异质数据。我们还发现MIS可以有效地稳定奖励曲线。关键字：Q学习，行为克隆，悲观机制，多重重要性采样。
通过强化学习学习像人类专家一样的平面图
摘要 - 深处增强学习（RL）已经获得了自动在现代芯片设计中生成位置的人口。但是，这些RL模型产生的平面图的视觉样式与手动布局的样式大不相同，因为RL垫片通常只采用诸如Wirelength和Routing Expestion之类的指标作为增强学习的奖励，而忽略了人类专家的复杂且细腻的布局经验。在本文中，我们提出了一个安置得分手，以评估布局的质量，并将异常检测应用于地板计划。此外，我们将该得分手的输出添加为加强安置过程的奖励的一部分。ISPD 2005基准的实验结果表明，我们提出的放置质量得分手可以根据人类工艺风格有效地评估布局，并且将此得分手添加到增强式学习奖励中，有助于与以前的电路设计相比，用更短的线长度生成较短的线长度。索引术语 - 地板，加固倾斜，异常检测，放置得分手
基于强化学习的分散武器 -
多次无误攻击是饱和和克服导弹防御系统的最简单方法之一。为了提高针对此类攻击者群体的拦截效率，有必要根据其运动学局限性分配拦截器。此外，这样的分配方案必须是可扩展的，以应对大型方案并允许动态重新分配。在本文中，我们首先提出了这种武器目标分配（WTA）问题的新表述，并提供了使用加固学习（RL）以及贪婪的搜索算法来解决它的分散方法。从每个追随者与所有目标的角度考虑参与。同时，其他拦截器与目标群体相关，而其他团队成员则可以使用其分配和成功概率。为了改善中途轨迹的塑造，在追随者和进来的对手之间放置了静态虚拟目标。每个拦截器根据从计算有效的仿真环境中的大量场景中学到的策略动态选择目标。RL输入状态包含目标的拦截器达到性覆盖范围以及其他导弹成功的概率。RL奖励汇总了团队绩效，以鼓励在分配层面上进行合作。相关的可及性约束是通过采用拦截器运动的运动学近似来分析获得的。RL的使用确保所有拦截器的实时可扩展和动态重新分配。我们将基于RL的分散WTA和指导方案与贪婪解决方案的性能进行比较，显示了RL的性能优势。
农业强化减少了推定植物的选择...
小麦的复杂进化史已经塑造了其相关的根微生物群落。但是，考虑农业强化的影响是有限的。这项研究调查了内源性（基因组多倍体化）和外源性（化肥的引入）因素如何形成有益根瘤菌的选择。，我们结合了与培养的依赖性和依赖性方法，分析根瘤菌群落组成及其在根 - 土壤界面上的相关功能，来自一系列祖先和现代小麦基因型，随着和不添加化学肥料而生长。在受控的盆栽实验中，受精和土壤室（根际，根茎）是塑造根瘤菌群落组成的主要因素，而小麦基因组从二倍体到异源倍倍倍化植物的扩展导致了下一个最大的变化。根茎衍生的可培养的细菌收集植物生长促进（PGP）的特征表明，施肥会降低大多倍小麦中假定的植物生长促进性根瘤菌的丰度，但在野生小麦祖细胞中没有。这些分离株的分类学分类表明，这些差异在很大程度上是由代表多倍体小麦中细菌杆菌的有益根细菌选择的选择驱动的。此外，与二倍体野生小麦相比，六倍小麦有益细菌种群的复杂性大大降低。因此，我们建议以肥料依赖性的方式驯化与PGP功能的根相关细菌属可能会受到损害，这是指导未来的植物育种计划的潜在至关重要的发现，以在不断变化的环境中改善作物生产系统。
使用交叉注意信号对大型语言模型进行微调模型的一种自我监督的强化学习方法
我们为不依赖于人类反馈的大型语言模型（LLMS）提出了一种新颖的增强学习（RL）框架。相反，我们的方法使用模型本身中的交叉注意信号来获得自我监督的奖励，从而指导对模型策略的迭代微调。通过分析模型在生成过程中如何“参加”输入提示，我们构建了及时的覆盖，重点和连贯性的度量。然后，我们使用这些措施来对候选响应进行排名或评分，提供了奖励信号，鼓励模型产生良好的一致，主题文本。在与标准策略梯度方法的经验比较和合成偏好模型的RL微调中，我们的方法在非RL基线的迅速相关性和一致性方面显示出显着的提高。虽然它尚未与完全监督的RLHF系统的性能相匹配，但它突出了使用最小的人类标记来扩展对齐的重要方向。我们提供了详细的分析，讨论潜在的局限性，并概述了将基于跨注意的信号与较少人类反馈相结合的未来工作。