XiaoMi-AI文件搜索系统
World File Search SystemRewards
深度基于模型的强化学习，用于对机器人系统的预测控制，并具有稀疏奖励
抽象的稀疏奖励和样本效率是增强学习领域的开放研究领域。在考虑对机器人技术和其他网络物理系统的增强学习应用时，这些问题尤其重要。之所以如此，是因为在这些领域中，许多任务都是基于目标的，并且自然而然地表达了二进制成功和失败，动作空间较大且连续，并且与环境的实际相互作用受到限制。在这项工作中，我们提出了深层的价值和预测模型控制（DVPMC），这是一种基于模型的预测增强学习算法，用于连续控制，该算法使用系统识别，值函数近似和基于采样的优化对选择动作。该算法是根据密集的奖励和稀疏奖励任务进行评估的。我们表明，它可以使预测控制方法的性能与密集的奖励问题相匹配，并且在样本效率和性能的指标上，在稀疏奖励任务上优于模型和基于模型的学习算法。我们验证了使用DVPMC训练在仿真的机器人上培训的代理商的性能。可以在此处找到实验的视频：https：//youtu.be/ 0q274kcfn4c。
EV 智能奖励 NM
宝马：i3 2016-2021年、3系插电式混合动力汽车 2016+、5系PHEW 2017+、7系插电式混合动力汽车 2017+、i8 2014-2021年、X3 PHEV 2020-2021年、X5 插电式混合动力汽车 2016+、i4 2021+、i5 2024+、i7 2023+ 大众：e-Golf 2020、ID.4 2021+、Tiguan PHEV 2023+ 丰田：RAV4 Prime 2021+、Prius Prime 2022+、bZ4x 2023+ 雪佛兰：Bolt 2017+、Volt 2015-2019 起亚：EV6 2022+、EV9 2024+雷克萨斯： RX450h 2023+、RZ 2023+ 充电器：ChargePoint：Home Flex Wallbox Pulsar Plus Emporia 请注意，要将您的车辆连接到我们，您需要有效的联网服务订阅。如果您没有看到您的电动汽车或充电器，请联系我们！我们会将您添加到候补名单中，并在集成可用时与您联系。6. 如何注册该计划？
基于规则的语言模型安全奖励
基于大型语言模型（LLM）基于人类偏好的细微调整已被证明可以增强其能力和安全行为。但是，在与安全相关的情况下，没有对人类注释的精确说明，收集的数据可能会导致模型过于谨慎，或者以不良的风格做出反应，例如是判断力。另外，随着模型功能和使用模式的发展，可能需要添加或重新标记的数据来修改安全行为。我们提出了一种利用AI反馈的新型偏好建模方法，仅需要少量的人类数据。我们的方法，基于规则的奖励（RBR），使用了所需或不希望行为的规则集合（例如拒绝不应与LLM分级器一起进行判断。与使用AI反馈的先前方法相比，我们的方法使用了直接在RL培训中的细粒度，可组合，LLM分级的几个提示作为奖励，从而获得更大的控制，准确性和易于更新。我们表明RBR是一种有效的训练方法，与91.7的人为反馈基线相比，F1得分为97.1，从而通过更好的平衡有用性和安全性，导致了更高的安全行为精度。
ircoco：立即奖励指导代码完成的深入强化学习
代码完成旨在通过基于当前的编程环境预测潜在代码来提高编程生产率。最近，预先训练的语言模型（LMS）在这一领域变得突出。已经提出了各种方法使用监督的调整（SFT）技术来完成代码完成。但是，这些模型的固有暴露偏见可能会导致序列完成的早期累积错误，从而导致随后完成的更多错误。为了解决这个问题，深度加强学习（DRL）是用于完成代码完成LMS的替代技术，可以提高概括能力和整体性能。然而，将基于DRL的策略整合到代码完成中面临两个主要挑战：1）代码上下文的动态性质要求完成模型快速适应变化，这为传统的DRL策略构成了困难，该策略的重点是延迟奖励最终代码状态。2）很难评估部分代码的正确性，因此，基于奖励再分配的策略不能适应代码完成。为了应对这些挑战，我们提出了Ircoco，这是一个基于DRL的代码完成框架。此框架旨在提供即时的奖励，作为检测代码完成期间连续编辑引起的动态上下文更改的反馈。借助即时反馈，精细调整的LM可以更加精确地了解当前上下文，从而有效地调整LM并以更重新确定的方式优化代码完成。实验结果表明，使用IRCOCO进行的精细培训的LMS导致代码完成任务的显着改进，表现优于基于SFT和其他基于DRL的基础线。
美国银行定制现金奖励计划规则
Basic terms and definitions Base Cash Rewards — The Cash Rewards you will earn with each purchase Billing Cycle — The period of time between monthly bills or monthly billing statements, as defined in your Credit Card Agreement Bonus Cash Rewards — The additional Cash Rewards you can earn with certain purchases, as described herein Card — A Bank of America® Customized Cash Rewards Mastercard® or Visa® credit card Card Program — The Bank of America® Customized Cash Rewards program Cardholder (also referred to as “you”) — Individual Cardholders, Joint Cardholders and authorized users, if any, with a Card account and charging privileges (excluding corporations, partnerships or other entities) Cash Rewards — Rewards earned through use of the Card Choice Category — Purchases earn Bonus Cash Rewards made from one of the selected merchant types: gas & EV charging stations (default), online shopping, dining, travel, drug stores, or home improvement/furnishings.选择类别可以更改为未来购买客户奖金的每个日历月份一次，当您与美国合格帐户有合格关系时，您可以在净购买中获得10％的奖金，并在净购买中获得的奖金奖金 - 美国银行支票或储蓄帐户，与Merrill或Merrill®的合格现金管理帐户，或合格的529个帐户持有的529个帐户；符合条件的帐户由美国银行，N.A。联合持卡人 - 与主要持卡人共同承担帐户的全部责任；不包括授权用户商人 - 与我们签约以提供合作伙伴奖励提供净购买的商人 - 在此卡上进行的购买量；即使这张卡不是原始的付款方式奖励，即使您在参加合作伙伴奖励提供伙伴奖励报价的报价时，您的奖励奖励，而不是获得互惠奖励的纽约奖励，即使您获得的额外奖励的能力，即使您获得的奖励奖励，即 - 可选的福利和奖励计划，与此卡计划分开，美国银行客户/符合某些存款帐户和存款/投资余额标准的客户/美林客户。资格和入学要求以及其他计划详细信息可在bankofamerica.com/preferred-wordwards wards Primary Carddorder（卡帐户计划规则上名称为单位的持卡人），请参考本文档中的条款和条件，该条款和条件管理该卡计划；这些计划规则与您的卡
全球奖励多代理深入强化学习的自主流动性系统
我们研究了按需自动移动性（AMOD）系统中的车辆派遣，在该系统中，Central操作员将车辆分配给客户要求或拒绝这些车辆以最大化其总利润。最近的方法使用多代理深入强化学习（MADRL）来衡量可扩展但性能的算法，但基于本地奖励的训练代理，这会扭曲对系统范围的利润的奖励信号，从而导致较低的绩效。因此，我们提出了一种新型的基于全球奖励的MADRL算法，用于在AMOD系统中派遣车辆，该算法通过向代理商分配奖励，以利用反面基线的代理来解决训练有素的代理商与运营之间的现有目标冲突。与具有本地奖励的状态MADRL算法相比，我们的算法在现实世界数据的各种环境上显示了统计学上的显着改进。我们进一步提供了结构性分析，表明全球奖励的利用可以改善隐式车辆的平衡和需求预测能力。可以在https://arxiv.org/abs/2312.08844上找到我们论文的扩展版本，包括附录。我们的代码可从https：// github获得。com/tumbais/gr-madrl-amod。关键字：多学科学习，学分分配，深入强化学习，自主性按需
通过回归相对奖励
最初开发用于连续控制问题的近端政策选择（PPO）已成为各种强化学习（RL）应用程序（包括生成模型的微调）的工作马。不幸的是，PPO需要多种启发式学才能实现稳定的收敛（例如价值网络，剪辑），并以其对这些组件的精确实现的敏感性而臭名昭著。回应，我们退后一步，问生成模型时代的简约RL算法是什么样的。我们提出了Rebel，这是一种算法，可简洁地减少策略优化问题，以通过两个完成之间的直接策略参数化回归相对奖励，从而使得轻量轻量级实现。从理论上讲，我们证明了像自然政策梯度这样的基本RL算法可以看作是叛军的变体，这使我们能够在RL文献中的收敛性和样本复杂性方面与最强的已知理论保证相匹配。Rebel还可以清洁地合并离线数据，并处理我们在实践中经常看到的不及物线偏好。从经验上讲，我们发现Rebel提供了一种统一的方法，用于与PPO和DPO具有更强或类似性能的语言建模和图像生成，同时比PPO更易于实现，并且在计算上更可行。
unex-rl：通过单向执行加强多阶段推荐系统的长期奖励
近年来，人们对Utiz Liz Liz Liz Liz Liz Formenting学习（RL）的兴趣越来越高，以优化推荐系统中的长期奖励。由于工业推荐系统通常被设计为多阶段系统，因此同时优化多个阶段时，具有单个代理的RL方法会面临挑战。原因是不同阶段具有不同的观察空间，因此不能由单个代理建模。为了解决这个问题，我们提出了一种新型的基于单向执行的多代理增强学习（UNEX-RL）框架，以重新获得多阶段建议系统中的长期奖励。我们表明，单向执行是多阶段推荐系统的关键功能，为多机构增强学习（MARL）的应用带来了新的挑战，即观察依赖性和级联效应。为了应对这些挑战，我们提供了级联信息链（CIC）方法，以将依赖性观测值与动作依赖性观察结果分开，并使用CIC有效地训练UNEX-RL。我们还讨论了UNEX-RL的实际差异技术。fi-Nelly，我们显示了UNEX-RL对公共数据集和具有超过1亿用户的在线推荐系统的有效性。特别是，UNEX-RL揭示了用户使用时间的0.558％与单一AGENT RL算法相比，在线A/B实验中的使用时间为0.558％，强调了UNEX-RL在工业推荐系统中的效率。