XiaoMi-AI文件搜索系统
World File Search SystemReinforcement
通过大语言模型指导预测学习
强化学习算法通常在没有密集，形状良好的奖励功能的情况下挣扎。本质上动机的利用方法通过奖励访问新颖状态或过渡的代理来解决这一限制，但是这些方法在大多数发现的新颖性与下游任务无关的大环境中提供了有限的好处。我们描述了一种使用文本语料库中背景知识来塑造探索的方法。此方法称为Ellm（e xploring at llm s）奖励代理，以实现由促使代理当前状态描述的语言模型所建议的目标。通过利用大规模的语言模型进行预处理，Ellm指导代理人朝着人类善意而有用的行为来实现，而无需在循环中进行人类。我们在手工游戏环境和管家机器人模拟器中评估ELLM，表明经过训练期间，经过ELLM训练的代理在训练过程中具有更好的覆盖范围，并且通常在一系列下游任务上匹配或提高性能。
潜在的学习进步推动人类加强学习中的自主目标选择
人类是自动特工，他们通过设定和追求自己的目标来学习。但是，指导人类目标选择的确切机制尚不清楚。学习进度通常以观察到的性能变化而衡量，可以为人类和人造药物的目标选择提供宝贵的信号。我们假设人类对目标的选择也可能是由潜在的学习进步驱动的，那么人类也可以通过了解其行动和环境来估算这些进步，即使没有立即发生绩效的改变。为了检验这一假设，我们设计了一项分层增强学习任务，其中人类参与者（n = 175）反复选择自己的目标并学习了目标条件政策。我们的行为和计算建模结果证实了潜在学习进度对目标选择和揭示个体间差异的影响，这部分是通过识别环境层次结构的介导的。通过研究潜在学习进度在人类目标选择中的作用，我们为更有效和个性化的学习经历以及更类似人类的自动机器的发展铺平了道路。
将计划和强化学习结合起来解决关系多重域
统计关系学习和AI（starai）[11，32]，另一方面，在存在不同的对象和关系的数量（即在关系领域）的存在。但是，关系RL [8]相对尚未探索，尽管存在某些方法[42]，但它们并不能按照大型任务进行扩展，并且对于多基因设置而言肯定不容易扩展。一个有希望的方向正在利用层次（和关系）计划的组合，以探索多个级别的抽象和RL来学习低级政策[16，20]。受到AI的这些不同子区域的成功的启发，我们采用了一种方法，该方法利用了关系层次规划师的力量作为噪音，关系领域中多种学习的集中式控制器。我们所提出的方法称为多基金关系计划和强化学习（MarePrel），将计划分解，集中控制和代理位置，用于构建特定任务表示的Starai，以及通过这些专业表示的有效和有效学习的深度RL。我们做出以下关键贡献：（1）据我们所知，我们提出了可以跨越多个对象和关系概括的关系构造域的第一个多基因系统。正如我们在相关工作中所显示的那样，多种文献中存在着重要的文献，关系学习以及计划和学习的整合。我们的工作是在多构想系统中将所有这些方向相结合的第一项工作。（2）为了实现这一目标，我们开发了MarePrel，这是一种综合计划和学习体系结构，能够在关系领域的不确定性下进行多种学习。具体而言，玛丽·玛丽（Mareprel）的有效学习和推理能力源于其关系形式的代表，高级计划的分解以及最低级别的深度RL的使用。（3）最后，我们在一些关系多基因领域中证明了我们的AP级的有效性和概括能力。我们将基于不同基于RL的多构基线（包括明确使用子任务信息）进行比较，并说明了我们方法的优越性。本文的其余部分如下：在审查了相关工作并介绍了必要的背景之后，我们概述了我们的多基因框架，并更详细地讨论算法。然后，我们通过讨论未来研究的领域在结束论文之前对一些关系的多种关系领域进行了实验评估。
基于DRBRO的基于动态增强的路线优化，用于在移动临时网络中发现有效的路线发现
已经通过无线网络中的路线发现方法探索了各种研究。Perkins和Royer（1999）开发了AODV，这是一种反应性协议，可降低开销的路由，但经历了高潜伏期。Johnson等人。 （2001）提出了DSR，允许源路由，但面临可扩展性问题。 Clausen和Jacquet（2003）引入了优化的链路状态路由（OLSR）协议，该协议保持了主动的路线，但能源消耗增加。 Zhang等人提出的基于增强学习的路由。 （2020）增强了适应性，但需要更高的计算。 Sharma等。 （2022）合并聚类以优化路由，减少控制开销，但缺乏实时适应性。 Viji Gripsy等。 （2023）集中于AI驱动的优化如何增强无线传感器网络中的异常检测和节能路由。 提出的基于动态增强的路线优化（DRBRO）是通过集成增强学习和实时流量分析以进行更高数据包提供，优化能耗和改善网络昏迷性的基于这些进步的。Johnson等人。（2001）提出了DSR，允许源路由，但面临可扩展性问题。Clausen和Jacquet（2003）引入了优化的链路状态路由（OLSR）协议，该协议保持了主动的路线，但能源消耗增加。Zhang等人提出的基于增强学习的路由。 （2020）增强了适应性，但需要更高的计算。 Sharma等。 （2022）合并聚类以优化路由，减少控制开销，但缺乏实时适应性。 Viji Gripsy等。 （2023）集中于AI驱动的优化如何增强无线传感器网络中的异常检测和节能路由。 提出的基于动态增强的路线优化（DRBRO）是通过集成增强学习和实时流量分析以进行更高数据包提供，优化能耗和改善网络昏迷性的基于这些进步的。Zhang等人提出的基于增强学习的路由。（2020）增强了适应性，但需要更高的计算。Sharma等。（2022）合并聚类以优化路由，减少控制开销，但缺乏实时适应性。Viji Gripsy等。 （2023）集中于AI驱动的优化如何增强无线传感器网络中的异常检测和节能路由。 提出的基于动态增强的路线优化（DRBRO）是通过集成增强学习和实时流量分析以进行更高数据包提供，优化能耗和改善网络昏迷性的基于这些进步的。Viji Gripsy等。（2023）集中于AI驱动的优化如何增强无线传感器网络中的异常检测和节能路由。提出的基于动态增强的路线优化（DRBRO）是通过集成增强学习和实时流量分析以进行更高数据包提供，优化能耗和改善网络昏迷性的基于这些进步的。
Morpion Solitaire的深度加固学习
摘要。基于蒙特 - 卡洛算法的效率很大程度上依赖于随机搜索启发式，该搜索通常是使用域知识手工制作的。为了提高这些方法的通用性，新算法（例如嵌套推出策略适应（NRPA））已使用在搜索过程中收集的数据在线培训的手工制作的启发式方法代替了手工制作的启发式方法。尽管策略模型的表现力有限，但NRPA还是能够超过传统的蒙特卡洛算法（即不学习）在包括Morpion Solitaire在内的各种游戏中。在本文中，我们将蒙特卡罗搜索与基于事先训练的神经网络的更加紧迫的非线性策略模型相结合。然后，我们演示了如何使用此网络以通过Morpion Solitaire游戏的这种新技术获得最先进的结果。我们还使用NeuralNRPA作为专家来培训专家迭代的模型。
模拟管道促进现实世界的机器人增强学习应用
摘要 - 提升学习（RL）在解决机器人应用程序中的复杂任务方面已获得了吸引力。但是，由于安全风险和培训成本相对较高，其在物理机器人上的部署仍然具有挑战性。为了避免这些问题，RL代理通常会在模拟器上训练，这引入了与模拟与现实之间的差距有关的新问题。本文介绍了一条RL管道，旨在帮助减少现实差距，并促进对现实世界机器人系统的开发和部署RL策略。管道将RL培训过程组织到系统识别和三个培训阶段的初始步骤：核心模拟培训，高保真模拟和现实世界的部署，每个培训都增加了现实主义的水平，以减少SIM卡之间的差距。每个培训阶段都采用输入策略，改进它，然后将改进的政策传递给下一阶段，或者将其循环回去以进一步改进。这个迭代过程一直持续到政策达到所需的绩效为止。通过在监视应用程序中使用的波士顿动力学机器人的案例研究显示了管道的有效性。案例研究介绍了每个管道阶段所采取的步骤，以获取RL代理以控制机器人的位置和方向。
（WIP）从人类反馈中学习一点加强
11策略梯度算法46 11.1策略梯度算法。。。。。。。。。。。。。。。。。。。。。46 11.1.1香草政策梯度。。。。。。。。。。。。。。。。。。。47 11.1.2加强。。。。。。。。。。。。。。。。。。。。。。。。。48 11.1.3加强一把（rloo）。。。。。。。。。。。49 11.1.4近端策略优化。。。。。。。。。。。。。。。。50 11.1.5组相对策略优化。。。。。。。。。。。。51 11.2实施。。。。。。。。。。。。。。。。。。。。。。。。。。。。52 11.2.1政策梯度。。。。。。。。。。。。。。。。。。。。。。。。53 11.2.2近端策略优化。。。。。。。。。。。。。。。。53 11.2.3组相对策略优化。。。。。。。。。。。。56 11.3辅助主题。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。57 11.3.1广义优势估计（GAE）。。。。。。57 11.3.2双重正则化。。。。。。。。。。。。。。。。。。。。58
增强学习中的地平线概括
我们通过概括的镜头研究目标条件的RL，但不是从传统的随机增强和域随机化的意义上。相反，我们旨在学习针对地平线的概括的目标指导的政策：在训练以实现附近的目标（这很容易学习）之后，这些政策应该成功实现遥远的目标（这是非常具有挑战性的学习）。In the same way that invariance is closely linked with generalization is other areas of machine learning (e.g., normalization layers make a network invariant to scale, and therefore generalize to inputs of varying scales), we show that this notion of horizon generalization is closely linked with invariance to planning: a policy navigating towards a goal will select the same actions as if it were navigating to a waypoint en route to that goal.因此，经过培训的实现附近目标的政策应成功实现任意途中的目标。我们的理论分析证明，在某些假设下，视野概括和计划不变性都是可能的。我们提出了新的实验结果，并从先前的工作中回忆起，以支持我们的理论结果。综上所述，我们的结果为研究在机器学习的其他领域开发的不变性和概括技术的方式可能会适应以实现这种诱人的属性。
智能建筑中HVAC控制的强化学习：技术和概念评论
建筑物中的加热，通风和空调（HVAC）系统是全球运营CO 2排放的主要来源，这主要是由于它们的高能源需求。传统控制器在管理建筑能源使用方面显示出有效性。但是，他们要么难以处理复杂的环境，要么无法将经验中的学习纳入他们的决策过程，从而提高了计算要求。这些缺点的潜在解决方案是增强学习（RL），可以通过其多功能和基于学习的特征来克服它们。在这种情况下，本研究介绍了详尽的文献综述，重点是自2019年以来发表的研究，该研究将RL应用于HVAC系统控制。它桥接了理论概念和文献发现，以确定每个问题的合适算法并找到差距。发现，在实际建筑物中的RL部署有限（占研究的23％），常见的培训方法揭示了基本的技术问题，可以防止其安全使用：外在状态组件中缺乏多元化（例如，占用时间表，电价，电价和天气）在每种情节中在训练中在训练中以多样性或意外改变现实生活的方式收到的代理人在训练中接收。这需要重复的，广泛的再培训，然后在计算上很昂贵。未来的研究应专注于通过解决先前的问题将RL应用于真实建筑物。进一步的研究应探讨这个方向。META-RL作为概括功能的新兴解决方案而出现，因为它可以在各种任务上训练代理，从而使代理更适应性并降低了计算成本。