XiaoMi-AI文件搜索系统
World File Search System离线
CLIQ®墙编程设备
在密钥更新期间，有关密钥的时间，时间表和授权信息进行了更新。也可以从钥匙收集审核步道。如果启用了“离线更新”功能，则用户可以在没有网络连接的情况下更新密钥的有效性。成功的离线更新以与在线更新相同的方式显示。
IQL-TD-MPC：分层模型预测控制
摘要 - 基于模型的增强学习（RL）由于其样本效率而表现出了巨大的希望，但仍在与长马稀疏的任务中挣扎，尤其是在代理商从固定数据集中学习的离线设置中。我们假设由于缺乏长期计划功能，基于模型的RL代理在这些环境中挣扎，并且在环境的时间抽象模型中进行的计划可以减轻此问题。在本文中，我们做出了两个关键的贡献：1）我们引入了基于离线模型的RL算法IQL-TD-MPC，该算法扩展了模型预测性控制（TD-MPC）的状态时间差异学习（TD-MPC），并使用隐式Q-Gearning（IQL）； 2）我们建议将IQL-TD-MPC用作层次设置的经理，并以任何离线离线RL算法作为工人。更具体地说，我们预先训练了一种时间抽象的IQL-TD-MPC管理器，以预测“意图嵌入”，该嵌入方式大致与子目标通过计划。我们表明，通过IQL-TD-MPC经理产生的意图嵌入的增强状态表示，可以显着改善离线脱机RL代理在某些最具挑战性的D4RL基准测试任务上的性能。例如，脱机RL算法AWAC，TD3-BC，DT和CQL均在中和大型抗蚁列任务上获得零或接近零的归一化评估得分，而我们的修改给出了40的平均得分。
Quantum World中的卡支付系统的安全性
量子计算机有可能打破加密方案，例如Rivest -Shamir -adleman（RSA）和椭圆曲线密码学（ECC）；这些用于emv®卡支付系统，用于离线身份验证到付款终端，从终端到卡到卡的离线PIN加密以及安全的频道通信。考虑到这一点，并假设将来可以使用量子计算机，则本文档讨论了卡支付系统的特定风险量子计算姿势，并介绍了Quantum Cryptography（PQC）（PQC） - 数学，量子物理学和计算机科学的交集的新领域。它还提供了一些时间轴预测，以及有关从RSA到ECC再到PQC的迁移路径的建议，以供离线支付。2。使用经典加密来保护卡付款：概述
涉及感觉运动控制的多任务处理过程中的错误相关电位：脑机接口的 ERP 和离线解码研究
人类通过感知和应对错误来实现高效的行为。错误相关电位 (ErrP) 是在感知错误时发生的电生理反应。有人提出利用 ErrP 来提高脑机接口 (BCI) 的准确性，利用大脑的自然错误检测过程来提高系统性能。然而，外部和环境因素对 ErrP 可检测性的影响仍然不太清楚，特别是在涉及 BCI 操作和感觉运动控制的多任务场景中。在此，我们假设感觉运动控制的困难会导致多任务处理中的神经资源分散，从而导致 ErrP 特征的减少。为了检验这一点，我们进行了一项实验，其中指示参与者将球保持在板上的指定区域内，同时尝试通过运动想象控制显示屏上的光标。BCI 以 30% 的随机概率提供错误反馈。根据感觉运动控制的难度，我们采用了三种场景——无球（单任务）、轻量球（简单任务）和重量球（困难任务）——来描述 ErrP。此外，为了研究多任务对 ErrP-BCI 性能的影响，我们离线分析了单次试验分类准确度。与我们的假设相反，改变感觉运动控制的难度不会导致 ErrP 特征发生显著变化。然而，多任务会显著影响 ErrP 分类准确度。事后分析显示，在单任务 ErrP 上训练的分类器在困难任务场景下准确度降低。据我们所知，这项研究是首次在离线框架内研究在涉及感觉运动控制和 BCI 操作的多任务环境中 ErrP 是如何被调节的。尽管 ErrP 特征保持不变，但观察到的准确度变化表明，在实现基于 ErrP 的实时 BCI 之前，需要设计考虑任务负荷的分类器。
diffclone：通过扩散驱动的策略学习
机器人学习任务是非常密集的和特定于硬件的。因此，使用可用于训练机器人操纵剂的不同离线示范数据集应对这些挑战的途径非常吸引人。火车传输测试结束（TOTO）的基准提供了一个策划的开源数据集，用于离线培训，主要由专家数据组成，还提供了公共离线RL和行为克隆代理的基准分数。在本文中，我们引入了Diffclone，这是一种通过基于扩散的策略学习增强行为克隆剂的离线算法，并在测试时测量了我们方法对真实在线物理机器人的疗效。这也是我们正式提交在Neurips 2023举行的火车及其对方（TOTO）基准挑战的提交。我们尝试了预先训练的视觉表示和试剂策略。在我们的实验中，我们发现MOCO FINETENED RESNET50与其他固定表示形式相比表现最好。目标状态条件和对过渡的映射导致成功率和卑鄙的回报提高。至于代理策略，我们开发了Diffclone，这是一种使用条件扩散改善的行为克隆剂。
安全敏感的消费者数据
银行报告说，攻击的增加，犯罪分子窃取了自助设备的硬盘，或者在设备离线时尝试访问硬盘。通过这种攻击，犯罪分子不仅可以访问所谓的“品牌”信息，还可以访问设备的软件堆栈，从而可以进行反向工程。，即使硬盘没有被盗，犯罪分子的另一种常见攻击方法也是从外部USB驱动器启动，并将恶意软件复制到ATM，作为离线攻击的一部分。
供应链管理的上下文强化学习
由于模型优化和客观现实之间的潜在不匹配，供应链库存管理中的有效概括是具有挑战性的。很难知道现实世界是如何配置的，因此很难为其最佳地训练代理。我们通过结合离线培训和在线适应来解决此问题。代理进行了离线训练。在在线适应阶段，代理商搜索上下文最大化奖励。代理商在网上迅速适应，并在了解上下文A-Priori的情况下实现了表现。特别是，他们在不推断正确的上下文的情况下进行了最佳行动，而是找到适合奖励最大化的环境。通过使代理商能够利用离线培训和在线适应，我们提高了他们在未知环境中的效率和有效性。该方法具有更广泛的潜在应用，并有助于使RL算法在实际情况下有用。我们已根据https://github.com/abatsis/supply_chain_few_shot_rl发布了本文的代码。
Wen SunWen Sun
标题：数据集重置在人类反馈中的在线增强学习中的作用：从人类反馈（RLHF）学习的在线增强学习是用于微调生成模型（例如大语言模型（LLMS））的范式，例如迄今为止最强大的LLMS，例如ChatGpts和GPT4。在这项工作中，利用文本生成的关键属性 - - 在任何地方重置的能力，我们提出了一种新的专业RL算法，在RLHF Pipeline中使用时，可以超越标准RL算法（例如近端策略优化（PPO））。我们的新算法数据集重置策略梯度（DR-PG），通过数据集重置在线策略培训期间的现有离线优先数据集：它将策略梯度优化器重置给离线数据集中的州，而不是总是从初始状态分布开始。离线偏好数据集提供了更有信息的状态（即与我们要优化的基本偏好更相关），我们可以从中重置RL优化器并执行策略优化。从理论上讲，我们表明，在RLHF管道中使用DR-PG时，DR-PG学会了至少与离线数据集涵盖的任何策略一样出色。在实验中，我们证明在标准的RLHF基准中，DR-PG的一代明显好于GPT4 Win-Rate的指标下的PPO一代。Bio：Wen Sun是康奈尔计算机科学系的助理教授。在此之前，他是纽约市Microsoft Research的博士后研究员，并于2019年从卡内基·梅隆大学（Carnegie Mellon University）的机器人学院完成了博士学位。他通常对机器学习感兴趣，尤其是强化学习。他目前的许多研究都是关于设计算法，以进行有效的顺序决策，理解探索和剥削以及如何利用离线数据来克服勘探。
迈向上下文的信息理论框架 -
1。Lanqing Li，Rui Yang和Dijun Luo。焦点：通过距离度量学习和行为正则化的有效的全面隔行元提升学习。ICLR 2021。2。haoqi yuan和Zongqing lu。通过对比度学习，脱机元强化学习的强大任务表示。ICML 2022。3。Yunkai Gao等。 下文减少离线元强化学习。 神经2023。Yunkai Gao等。下文减少离线元强化学习。神经2023。
行为克隆您需要的一切吗？了解模仿学习中的视野
模仿学习（IL）旨在通过从演示中学习来模仿专家在顺序决策任务中的行为，并已广泛应用于机器人技术，自动驾驶和自动回归文本生成。最简单的IL方法是行为克隆（BC），被认为会导致样本复杂性，并对问题视野的不利二次依赖性依赖，激发了各种不同的在线算法，这些算法在对数据的更强假设以及学习者访问专家的访问方面具有改进的线性范围依赖性。我们从学习理论的角度重新审视了离线和在线IL之间的明显差距，重点是可实现的/良好的设置，其中包括一般政策类别，包括深层神经网络。通过对对数损失的行为克隆进行新的分析，我们表明，只要（i）控制累积回报的范围，并且（ii）控制政策类别的监督学习复杂性的适当概念。将我们的结果专门用于确定性的固定策略，我们表明，离线和在线IL之间的差距比以前想象的要小：（i）可以在密集的奖励下实现离线IL的线性依赖性（与以前仅在线iL中可以实现的知识相匹配）； （ii）在政策类别的情况下，在线IL也无法随着对数损失的影响，即使在Manign MDP中也无法改善离线IL。我们通过对标准RL任务和自回归语言生成的实验来补充我们的理论结果，以验证我们发现的实际相关性。