XiaoMi-AI文件搜索系统
World File Search SystemReinforcement
基于图像的波前校正使用无模型的增强学习
摘要：光学畸变阻止望远镜达到其理论衍射极限。一旦估计，这些畸变就可以通过在闭环中使用可变形的镜子进行补偿。焦平面波传感可以直接从科学传感器拍摄的图像中估算完整光路的畸变。但是，当前的局灶性平面波前传感方法依赖于物理模型的物理模型，这些模型可能会限制校正的整体性能。这项研究的目的是使用无模型的增强学习来开发一种数据驱动的方法，以自动执行对像差的估计和校正，仅使用围绕焦平面围绕焦平面作为输入而获得的相位多样性图像。我们在加强学习的框架内提出校正问题，并在模拟数据上培训代理。我们表明该方法能够可靠地学习各种现实条件的有效控制策略。我们的方法还证明了对广泛的噪声水平的鲁棒性。
知识引导的深度强化学习用于交互式推荐
摘要最多 350 个字：（请输入）交互式推荐旨在适应和学习项目和用户之间的动态交互，以实现推荐系统的响应性和准确性。强化学习天生有利于应对动态/交互环境，因此在交互式推荐研究中引起了越来越多的关注。然而，大多数现有工作倾向于学习固定的用户兴趣，而忽略了它们本质上是动态的。论文首先介绍推荐系统及其应用。然后是详细的文献综述，涵盖三个主要相关领域：序列感知推荐、交互式推荐和知识感知推荐系统。论文还回顾了基于强化学习的推荐系统应用，并讨论了其优点和缺点。之后，本论文报告了关于交互式推荐系统的一般问题陈述和要解决的挑战，包括用户动态兴趣建模、强化学习优化的计算成本以及基于强化学习的推荐系统的性能下降。特别是，我们提出了一套通过强化学习改进交互式推荐的技术和模型。我们提出了一种学习分布式交互嵌入的新模型，该模型可以以紧凑而富有表现力的方式捕获用户的动态兴趣。受到图卷积网络和知识感知推荐的最新进展的启发，我们设计了一个知识引导的深度强化学习 (KGRL) 模型，以利用强化学习和知识图谱的优势进行交互式推荐。该模型在演员-评论家网络框架内实现。它维护一个本地知识网络来指导训练阶段的决策过程，并采用注意力机制来发现项目之间的长期语义。为了降低强化学习的计算成本，我们进一步设计了一种增强优化策略，缩小了更新步骤的空间并改变了奖励函数。我们在模拟在线环境中对提出的三种方法进行了全面的实验，结果表明，与文献中的基线和最先进方法相比，我们的模型的性能得到了持续的改进。最后，本论文讨论了交互式推荐系统的未来工作和潜在的进一步改进。
多体素神经强化改变威胁调节网络内的静息状态功能连接
图 1. 神经强化干预总结（有关更多详细信息，请参阅 Taschereau-Dumouchel、Cortese 等人，2018 年）。A）一次多体素神经强化试验中的事件序列。在诱导期间，大脑活动在线处理并使用目标动物的多体素表示进行解码。此过程为我们提供了以视觉方式显示给参与者的激活可能性。B）目标动物的代表性多体素解码器（体素权重已标准化并略微平滑（FWHM = 1 毫米）以方便解释）。这些体素被用作种子区域（我们称之为腹侧颞叶皮层），以确定干预后它们的连接性变化（大脑图像是使用 pySurfer [ https://pysurfer.github.io/ ] 生成的）C）自述对我们数据库中至少 2 只动物感到恐惧的参与者参加了神经强化实验。我们使用了机器学习和一种称为超对齐的方法（Haxby 等人，2011）来确定恐惧动物（即解码器）的多体素表示。然后将恐惧动物类别随机分配为干预的目标或控制条件。参与者完成了在不同日子进行的五次神经强化课程。在干预之前和之后，参与者完成了静息状态课程，并向他们展示了他们害怕的两种动物的图像（即恐惧测试）。在这些课程中，参与者被要求报告他们对所呈现动物的主观恐惧（大脑图像是使用 Pycortex [Gao 等人，2015] 生成的）。
通过强化学习的智能城市优化基于学习的预测分析
摘要 - 快速移动的城市化和城市的数字过渡的融合要求释放智能能源管理，效率符合可持续性和降低碳足迹，同时为城市居民提供高质量的生活标准。传统解决方案通常发现，考虑到能源的固有背景，各种需求以及不断变化的基础设施要求，处理能源的城市消费的强度和可变性几乎是不切实际的。作为针对挑战的建议解决方案，基于深度学习的预测分析（RLPA）的发展是为了解决为现代城市优化能源的问题。强化学习（RL）是机器学习的一个分支，用于使自主优化AI代理通过顺序决策中的相互作用来学习环境中的策略。加上预测分析时，此类系统可以帮助实时能源预测，能源的分配以及网格稳定性，以实现更具适应性和成本效益的能源系统。本文研究了基于RL的预测分析对最大程度地降低智能城市能源消耗的变革效应，重点是增强需求端的能源管理，最终促进了可靠的可再生能源在分布式网格中的可靠整合并提高网格复原力。一项详细的调查奠定了典型的增强学习模型，例如Q学习，深Q网络（DQN）和参与者 - 批评算法，以评估其在大规模解决能源优化挑战方面的实际实用性。此外，在研究中处理了智能城市基础架构中RL实施，调整智能电网，物联网驱动的能源管理系统以及需求响应计划。本文提出的方法论需要比较在实际实施智能城市项目中使用强化学习以在节能领域的效率，负载
加强烟草产品中的增强和MAO-A抑制作用：风味和品牌变化
加热的烟草产品（HTP）越来越流行，作为传统香烟的替代品，已由行业制造商积极推动（1）。鉴于与HTP相关的潜在健康风险，探索其使用模式对公共卫生至关重要，尤其是因为它们可以提供尼古丁，尼古丁是一种在烟草成瘾中起着核心作用并使用持久性的物质（2）。报告指出，从常规香烟到HTP的转换研究显示，随着时间的推移，HTP使用率和尼古丁消耗量都在增加，这突出了对HTP使用的彻底评估的需求（3）。与HTP使用相关的研究主要集中于尼古丁排放，暴露生物标志物和药代动力学（4，5）。在对HTP和常规香烟的尼古丁暴露的比较分析中，血清可替宁水平和24小时尿液样品中的尼古丁等效物通常用作尼古丁生物标志物（6）。Biondi-Zoccai等人的研究。（7）报道了IQO的血浆可替氨酸增加30.6 ng/ml，与常规香烟相当于31.1 ng/ml。同样，另一项研究发现，GLO用户的尿液尼古丁当量范围从传统卷烟使用者中的59％到74％不等（8）。虽然BAT和PMI研究表明HTPS和常规香烟之间的药代动力学类似（8、9），但其他研究表明，HTP的时间较短，最高血浆尼古丁浓度（T Max）和较低的尼古丁递送，可能会增加其上瘾的潜力（10，11）。然而，这些药代动力学发现仍然尚无定论，突出了需要进一步独立研究的必要性。HTP气溶胶是通过中温（<350〜400°C）的烟草底物加热生成的。此过程与常规香烟中观察到的高温，燃烧驱动的机制形成对比（4）。气溶胶生成中的这种区别导致HTP的化学物质与常规香烟的化学作用根本不同。除尼古丁之外，HTP气溶胶中的其他化学成分也可能影响其使用情况，强调对这些因素进行更广泛评估的需求。例如，已知存在于香烟烟中的单胺氧化酶-A（MAO-A）抑制剂，可以通过抑制大脑中的MAO-A活性并随后增加多巴胺释放来增强尼古丁的奖励作用（12）。先前的研究表明，抑制MAO-A而不是MAO-B可以增强大鼠的尼古丁增强（13，14）。我们的假设试图确定MAO-A抑制是否在HTP使用中起作用，而HTP产品与单独的尼古丁相比是否表现出不同程度的MAO-A抑制作用。但是，一项烟草行业研究报告了HTP气溶胶在体外没有抑制MAO（15）。考虑烟草排放的非尼古丁成分，例如MAO抑制剂，将对HTP的使用有更深入的了解。据我们所知，HTP的全面研究中存在一个显着的差距，特别是从非纽约胺成分的角度来看（16）。 在探索可能存在的品牌差异时，表现更加明显据我们所知，HTP的全面研究中存在一个显着的差距，特别是从非纽约胺成分的角度来看（16）。在探索可能存在的品牌差异时，表现更加明显
对自动化优化的强化学习调查
摘要 - 强化学习（RL）已成为自动化中优化挑战的批评工具，从而在几个领域取得了重大进步。本评论文章研究了自动化中RL的当前格局，特别关注其在制造，能源系统和机器人技术中的作用。它讨论了最新的方法，主要挑战和即将到来的每个部门的研究途径，强调了RL解决复杂的优化挑战的能力。本文回顾了自动化中RL驱动优化方法的优点和约束。它指出了RL优化遇到的普遍挑战，包括与样本效率和可伸缩性有关的问题；安全性和鲁棒性；解释性和可信赖性；转移学习和元学习；以及现实世界的部署和集成。它进一步探讨了前瞻性策略和未来的研究途径，以应对这些挑战。此外，调查还包括一份有关研究论文的全面清单，使其成为热衷于探索该领域的学者和从业者必不可少的指南。索引术语：加固学习，自动化，制造，能源系统，机器人技术
具有生物学启发的高维入住网格图的可推广的增强学习，用于探索和目标导向路径计划
摘要 - 真实的时间自主系统利用多层计算框架来执行关键任务，例如感知，目标查找和路径计划。传统方法使用占用网格映射（OGM）实施感知，并通过概率信息将环境分为离散的单元。这种经典方法是完善的，并为下游过程提供了一个结构化输入，例如目标查找和路径计划算法。最近的方法利用了一种以生物学启发的数学框架，称为矢量象征体系结构（VSA），通常称为高维计算，以在高维空间中执行概率的OGM。这种方法（VSA-OGM）与尖峰神经网络提供了兼容性，将VSA-OGM定位为常规OGM的潜在神经形态替代品。但是，对于大规模集成，与已建立的OGM方法相比，评估VSA-OGM对下游任务的性能含义至关重要。本研究研究了VSA-OGM对传统的OGM方法，贝叶斯·希尔伯特·地图（BHM）的功效，基于强化学习的目标找到和路径计划框架，在受控的探索环境中，以及受到第10 f1 f1挑战启发的自主驾驶场景。我们的结果表明，VSA-OGM保持在单一和多幕科培训配置之间的可比学习绩效，同时将看不见的环境的性能提高了约47％。索引术语 - 占用网格映射，高维计算，概率学习，增强学习，脑启发的学习这些发现强调了通过BHM培训的政策网络的普遍性提高，从而增强了其在不同环境中现实部署的潜力。
基于增强学习的估计 -
图3。流过一个气缸。（a）使用p = 3传感器，RL-ROE和KF-ROE状态估计值的RL-ROE和KF-ROE状态估计值的归一化L 2误差。（b）使用p = 3传感器在训练过程中未看到的RE值以及相应的RL-ROE和KF-ROE估计值的RE值的地面真相速度幅度在t = 50处。参考溶液轮廓中的黑色交叉表示传感器位置。（c）左：归一化的L 2误差，使用P = 3传感器时的μ与μ相对于μ。属于训练集S的μ值由大圆圈显示，而测试值则显示为小圆圈。右：归一化的L 2误差，随着时间的推移和RE的测试值进行平均，传感器数量p。在（a）和（c）中，误差指标在5个轨迹上平均具有随机采样的初始真实状态z 0，而阴影区域表示标准偏差。
修改行为的父母策略：积极强化的积极因素
这项研究研究了基于B.F. Skinner的操作条件理论，研究积极加强作为修改儿童行为的中心育儿策略的有效性。使用因子分析，出现了两个关键因素：积极强化对行为变化及其对亲子动态的影响的影响。积极的强化涉及以利益刺激奖励理想的行为，可以促进这些行为的重复并产生有益的长期结果。证据表明，这种方法不仅增强了理想的行为，而且还提高了父母与子女之间关系的质量，并教授ERS和学生。尽管有人认为仅依靠积极的强化可能会扼杀创造力或压力关系，但当前的搜索支持其在促进道德发展，减轻压力以及提高认知能力（例如焦点和工作记忆）中的作用。案例研究说明了积极的强化如何有效地解决行为问题，促进学习成绩并有助于情感幸福感。未来的研究应探讨阳性增强如何影响脑衍生的神经营养因子（BDNF）和催产素水平。总而言之，虽然积极加强是一种强大的工具，但将其与其他学科技术相结合可以最大程度地提高儿童发展并加强照顾者的关系。