XiaoMi-AI文件搜索系统
World File Search System加固
SCRL：利用加固学习来评估单细胞数据中的命运决策
。cc-by-nc-nd 4.0国际许可证（未经同行评审证明）获得的是作者/资助者，他授予Biorxiv授予Biorxiv的许可，以永久显示预印本。它是制作
使用加固学习设计自适应生产控制系统
抽象的现代生产系统由于客户需求的增加而面临巨大的挑战，导致了复杂的生产系统。通过管理所有操作以优化关键绩效指标的适当生产控制系统来确保竞争行业的运营效率。当前，控制系统主要基于静态和基于模型的启发式方法，需要显着的人类领域知识，因此，不符合ManufacturingCompanies.Data-DrivenReinReinForecrivecompan（RL）的动态环境，显示了CommperlistresultSinapplicationssultsinapplicationssuchassuchashassuchasboard and Commuter Games and Computer Games and Posertans Productions Productions应用程序。本文介绍了RL的设计，以通过在一个复杂的车间派遣订单派遣的现实世界示例来创建自适应生产控制系统。作为RL算法是“黑匣子”的方法，它们本质上禁止全面理解。此外，高级RL算法的经验仍然仅限于单个成功的应用程序，这限制了结果的可传递性。在本文中，我们研究了状态，行动和奖励功能RL设计的性能。分析结果时，我们确定了强大的RL设计。这使RL成为高度动态和复杂生产系统的有利控制系统，主要是在域知识受到限制时。
蒸馏加固学习算法
最近的研究表明，变压器可以通过模仿现有的RL算法来执行内在的增强学习（RL），从而使样本有效的适应能够适应无参数更新而无需看到的任务。但是，这些模型还继承了它们模仿的RL算法的次优行为。由于这些算法采用的逐渐更新规则，因此出现了此问题。基于模型的计划通过允许模拟在采取行动之前模拟潜在结果，提供了一种额外的机制来偏离次优行为，从而为这种限制提供了有希望的解决方案。我们没有学习Sepa-Rate Dynamics模型，而是提出了基于信用的RL框架（DICP）的蒸馏（DICP），在其中，变压器同时学习环境动力学并改善策略，并在内部进行改善。我们评估了跨多种离散和连续环境（包括暗室变体和元世界）的DICP。我们的结果表明，与基准相比，DICP可以达到最先进的性能，同时需要的环境相互作用要少得多，基本线包括无模型的对应物和现有的Meta-RL方法。该代码可在https://github.com/jaehyhyeon-son/dicp上获得。
Morpion Solitaire的深度加固学习
摘要。基于蒙特 - 卡洛算法的效率很大程度上依赖于随机搜索启发式，该搜索通常是使用域知识手工制作的。为了提高这些方法的通用性，新算法（例如嵌套推出策略适应（NRPA））已使用在搜索过程中收集的数据在线培训的手工制作的启发式方法代替了手工制作的启发式方法。尽管策略模型的表现力有限，但NRPA还是能够超过传统的蒙特卡洛算法（即不学习）在包括Morpion Solitaire在内的各种游戏中。在本文中，我们将蒙特卡罗搜索与基于事先训练的神经网络的更加紧迫的非线性策略模型相结合。然后，我们演示了如何使用此网络以通过Morpion Solitaire游戏的这种新技术获得最先进的结果。我们还使用NeuralNRPA作为专家来培训专家迭代的模型。
通过在线加固学习中的多租户边缘计算中的缓存分配
摘要 - 我们在此工作边缘计算（EC）中考虑在多租户环境中：资源所有者，即网络运营商（NO），虚拟资源使资源虚拟化，并允许第三方服务提供商（SPS-租户）运行他们的服务，这可以多样化，并且具有异质要求。由于确保保证，NO无法观察到已加密的SPS的性质。这使资源分配决策具有挑战性，因为它们必须仅基于观察到的监视信息进行。我们专注于一个特定资源，即缓存空间，部署在某个边缘节点中，例如一个基站。我们研究了关于如何在几个SP中分区缓存的决定，以最大程度地减少上游流量。我们的目标是使用纯粹的数据驱动的，无模型的增强学习（RL）优化缓存分配。与RL的大多数应用程序不同，RL的大多数应用程序在模拟器上学习了决策策略，我们认为没有以前的知识可用于构建这种模拟器。因此，我们以在线方式应用RL，即通过直接扰动实际系统并监视其性能的变化来学习策略。由于扰动会产生虚假的流动，因此我们也限制了它们。我们在模拟中表明，我们的方法迅速融合了理论最佳，我们研究了它的公平性，对几种情况特征的敏感性，并将其与最先进的方法进行比较。我们的代码复制结果可作为开源。1
无线网络中资源约束多类调度的深度加固学习
摘要 - 在此处考虑了动态无线设置中多类调度的问题，其中可用有限的带宽资源分配以处理随机服务需求到达，而在有效载荷数据请求，延迟公差和重要性/优先级方面属于不同类别。除了异质流量外，另一个重大挑战还来自由于时间变化的沟通渠道而导致的随机服务率。现有的调度和资源分配方法，范围从简单的贪婪启发式和受限优化到组合设备，是针对特定网络或应用程序配置量身定制的，通常是次优的。在此帐户中，我们求助于深入的增强学习（DRL），并提出了分配深层确定性策略梯度（DDPG）算法，并结合了深度设置以解决上述问题。此外，我们提出了一种使用决斗网络的新颖方式，这将进一步提高绩效。我们所提出的算法在合成数据和实际数据上都进行了测试，显示了对组合和优化的基线方法的一致增长，以及状态调度计划指标。我们的方法可以使用Knapsack优化的功率和带宽资源降低13％的功率和带宽资源。
审查CNT加固的设计和制造
这项研究探讨了通过碳纳米管（CNT）增强A356铝合金性能的增强，以提高航空航天，汽车和电子应用的性能。虽然A356因其铸造性和耐腐蚀性而受到青睐，但通过合并以其出色的强度和轻质特性而闻名的CNT可以通过抑制其强度和硬度的固有局限性。对最近的文献的评论揭示了通过各种制造方法实现的CNT加强A356复合材料的拉伸强度，硬度和耐磨性的显着增强，尤其是搅动铸造和组合。尽管有这些改进，但诸如CNT团聚和界面粘结较差的挑战仍然存在，阻碍了统一的分散和一致的性能。本研究的重点是优化搅拌铸造过程，以改善A356中的CNT分散体，从而最大程度地提高机械性能。结果表明，强度，硬度和耐磨损的能力显着，强调了CNT加强对高应力应用的潜力。进一步的研究对于完善加工技术和确保统一性至关重要，为更广泛的工业采用这些高性能材料铺平了道路。
讲座12：快速加固学习
4 UCB使用arg max a ˆ q t（a） + b，其中b是奖励项。考虑b = 5。这将使对经验奖励的算法乐观，但仍可能导致这样的算法，从而使Suer linear遗憾。