XiaoMi-AI文件搜索系统
World File Search SystemA3C
基于 A3C 深度强化学习的空战机动决策方法
摘要：针对无人战斗机空战中的机动决策问题，本文提出了一种基于深度强化学习的无人战斗机自主机动决策方法。首先，建立敌我双方无人战斗机飞行机动模型及机动库。然后，考虑到无人战斗机俯仰角不同时各动作不同的状态转换效果，将俯仰角等10个状态变量作为状态空间。结合空战态势威胁评估指数模型，设计内部奖励与稀疏奖励相结合的两层奖励机制作为强化学习的评估依据。然后，根据异步优势演员-评论家（A3C）算法，构建全连接层的神经网络模型。通过多线程的方式，UCAV与环境不断交互学习，对模型进行训练，逐步学习到最优的空战机动对抗策略，并指导UCAV进行行动选择。该算法通过多线程异步学习，降低了样本间的相关性。最后，在三种不同的空战场景中验证了该方法的有效性和可行性。
在紧急情况下进行疏散的实时深入强化学习
16。摘要这项研究采用了A3C算法来模拟不同情况下的疏散过程（例如，多种试剂和不同的环境条件），并将结果与深Q网络（DQN）进行了比较，以证明在疏散模型中使用A3C算法的效率和有效性。结果表明，在静态环境下，A3C表现出较高的适应性和更快的响应时间。此外，在管理复杂的相互作用并提供快速撤离时，A3C越来越多，A3C显示出更好的可扩展性和鲁棒性。这些结果在不同和具有挑战性的条件下突出了A3C比传统RL模型的优势。该报告以讨论这些模型的实际含义和好处进行了讨论。它强调了它们在增强现实世界疏散计划和安全协议方面的潜力。17。关键词加强学习，多代理协作，紧急情况，机场疏散
Anurag Koul
●带有可变步骤频率的TD3：学习控制任务的步骤频率。●具有离散状态空间的基于模型的强化学习。●了解基于模型的离线强化学习的不确定性估计和安全政策改进●研究现实世界中的Cassie机器人的离线增强学习学习●抽象空间中的计划：通过计划模型从计划模型中学习策略，从期权模型中学习策略●适应性PID控制器：研究对控制策略的ADAPTIVE PID PID属性学习。●学习有限的空间门控复发神经网络。●策略梯度带有奖励分解：利用有方面奖励的策略梯度的变化。●深入增强学习算法的性能比较：DQN，DDQN，决斗体系结构和A3C对Atari进行了测试。●使用共形预测降低深神经网中的歧义：在深神经网络中，结构性预测的输出量最小化导致不确定性较小。●自主驾驶的直接感知：通过捕获观察值的时间特征来增强现有方法。
加固学习的安全利润
摘要 - 在某些情况下，任何自主控制器都会不安全。定量确定这些不安全情况何时即将发生的能力对于及时的人类监督，例如货运运输应用至关重要。在这项工作中，我们证明了代理人情况的真正批判性可以牢固地定义为鉴于某些随机行动的奖励的平均减少。可以将实时计算的临界指标（即，不实际模拟随机动作的效果）与真正的临界性进行比较，我们展示了如何利用这些代理指标来产生安全边际，这直接将潜在不正确的行动与预期的损失联系起来，以使其在整体绩效中造成预期损失。我们在ATARI环境中评估了从APE-X和A3C学习的策略的方法，并证明了随着代理的接近故障状态，安全利润如何降低。将安全利润集成到监视部署的代理的程序中，可以实时识别潜在的灾难性情况。
afman11-2e-11v1.pdf - 空军 - AF.mil
本出版物实施空军政策指令 (AFPD) 11-2《机组人员操作》。除了主要指挥部 (MAJCOM) 和当地程序外，本出版物还规定了所有操作空军 (AF) E-11 飞机的飞行员使用的标准程序。本出版物适用于正规空军的军事和文职成员，以及那些有合同义务遵守 DAF 出版物条款的人。本出版物不适用于空军预备役、空军国民警卫队或美国太空部队。确保根据本出版物中规定的流程生成的所有记录均遵守空军指令 (AFI) 33-322《记录管理和信息治理计划》，并按照空军记录处置时间表进行处置，该时间表位于空军记录信息管理系统中。使用空军部 (DAF) 表格 847《出版物变更建议》将建议的变更和有关本出版物的问题提交给主要责任办公室 (OPR)；通过适当的标准化和评估 (Stan/Eval) 功能链从现场路由 DAF 表格 847。本出版物可以在任何级别进行补充。在批准之前，MAJCOM 级别以下的野外单位将与其上级 MAJCOM Stan/Eval 办公室协调其补充副本。将一份副本发送给空战指挥/指挥和控制情报、监视和侦察 (C2ISR) 行动部 (ACC/A3C)，并将一份副本发送给空军训练和准备主任 (AF/A3T)。本出版物中，豁免联队/部队级别要求的权限在合规声明后以层级编号（“T-0、T-1、T-2、T-3”）标识。有关与层级编号相关的权限的描述，请参阅空军部手册 (DAFMAN) 90-161，发布流程和程序，表 A10.1。提交请求
人类DNA肿瘤病毒逃避尿素
估计全世界约有15％是由病毒引起的[1]。这些致癌病毒被归类为RNA（RTV）或DNA肿瘤病毒（DTVS）[1]。There are two human RTVs: hepatitis C virus (HCV) and human T-cell lymphotropic virus-1 (HTLV-1), and five human DTVs: human papilloma virus (HPV), hepatitis B virus (HBV), Epstein–Barr virus (EBV), Kaposi sarcoma-associated herpesvirus (KSHV), and默克尔细胞多瘤病毒（MCPYV）[1]。这些肿瘤病毒（TVS）建立了终身感染并使用多种策略逃避宿主免疫。并非所有电视感染都会引起疾病，既定潜伏期的病毒模式和持久性均干扰正常的细胞过程，有时会导致癌症[1]。特别有趣的是逃避尿嘧啶介导的抗病毒药物的机制，这可能对宿主基因组有害。尿嘧啶是一种非规范的DNA碱基，可以在补充过程中将其掺入DNA或通过单链DNA中的细胞氨酸而化学引入DNA，从而导致诱变u：g不匹配[2]。这些不匹配可以通过激活诱导的胞嘧啶脱氨酶（AID）/载脂蛋白B mRNA编辑催化性多肽蛋白（APOBEC）（APOBEC）来实现通过激活诱导的胞嘧啶脱氨酶（AID）/载脂蛋白B mRNA BRNA BRNA（APOBEC）[3]。AID和APOBEC3（A3）蛋白质的亚科分别在适应性和先天免疫反应中起作用。AID是B细胞成熟蛋白[4，5]，该蛋白在B淋巴细胞中表达，进入淋巴结中的生发中心。曾经成熟的B细胞退出生发中心，辅助表达返回到无法检测的水平。辅助活性仅限于表达免疫球蛋白基因的转录气泡，以使抗体库多样化。干扰素信号传导和促炎性细胞因子上调A3蛋白[3]。人类具有7种A3蛋白（A3a，A3b，A3C，A3D/E，A3F，A3G和A3H），可以靶向RNA，逆转录病毒新生cDNA或复制叉中的单链DNA [3]。AID/A3蛋白成功限制了RNA和DNA病毒[3]，包括一些RTV和DTV [3，6]。但是，RTV的A3限制已被确定为脱氨酶独立于脱氨酶[6，7]，即不是尿嘧啶介导的抗病毒免疫。因此，将不会更详细地讨论RTV。AID/A3尿嘧啶介导的抗病毒免疫通常被表示为“双刃剑”，因为这些有效的病毒限制子可能无法区分宿主和病毒基因组。因此，AID/A3蛋白在DTV发病机理中的作用引起了很大的关注。在这里，我们回顾了当前对DTV逃避尿嘧啶介导的抗病毒免疫的机制的知识。
apobecs：我们的善变的朋友？
载脂蛋白B mRNA编辑催化多肽（APOBEC）家族指定多种胞苷脱氨酶。在哺乳动物中，至少5个基因编码Apobecs 1，2，3，4，而激活诱导的胞苷脱氨酶（AID）[1，2]。A1酶是第一个被重新认可的酶，并且在特定宿主mRNA的组织特异性编辑中起着至关重要的作用[3]，但是尚未确定在病毒基因的诱变中的确认作用。人类已经扩增了APOBEC3（A3）基因座，以产生7个成员：A3A，A3B，A3C，A3D，A3D，A3F，A3G，A3G和A3H。所有APOBEC蛋白似乎与单链RNA或DNA或两者都结合[1，2]。apo-bec酶在细胞学上脱氨酸单链核酸，导致C-TO-U突变。当这些突变发生在重复病毒的减去链上时，结果是病毒和链的g- to-a转变。由于这些过渡通常会导致胡说八道或误导性突变，因此基本病毒基因产物的合成被阻断，传染性颗粒产量下降[1，2]。在反应中，病毒产生多种基因，干扰A3蛋白的功能。通常，这些是蛋白质拮抗剂，包括HIV-1 VIF的众所周知的例子，它充当了E3连接酶诱导某些A3脱氨酸酶的蛋白酶体降解的适配器[4-7]。此示例提供了明确的证据，表明A3基因的功能是干扰病毒复制。A3s在淋巴样和髓样细胞中似乎以较高的量表示[8-10]，这表明这些酶是病毒入侵的前线防御者。然而，其他细胞类型（例如乳腺细胞）也表达A3 [11]。由于某些A3被包装到病毒颗粒中，因此，A3S的病毒体掺入为摄入牛奶传播病毒的新生儿提供了额外的概念。尽管逆转录病毒DNA的脱氨基可能是病毒抑制的主要机制，但已经观察到了脱氨基依赖性的APOBEC活性模式[12，13]。由于A3S与包装到病毒体中的单链RNA结合，因此这些脱氨酶为病毒DNA合成提供了路障[13-15]。A3G还与HIV-1反向转纹酶（RT）相互作用，以干扰DNA复制[16]。不同的APOBEC可能已经演变为允许与RT以外的逆转录病毒酶结合。A3酶也已显示可分别抑制含DNA和RNA的病毒，例如人乳头状瘤病毒和冠状病毒[13-15]。APOBEC与其他病毒聚合酶的结合将为阻断各种病毒的复制提供充足的机会。