XiaoMi-AI文件搜索系统
World File Search System提炼
通过将政策提炼为程序来评估可解释的强化学习
存在强化学习之类的应用，例如医学，其中政策需要被人类“解释”。用户研究表明，某些政策类可能比其他政策类更容易解释。但是，进行人类的政策解释性研究是昂贵的。此外，没有明确的解释性定义，即没有明确的指标来解释性，因此主张取决于所选的定义。我们解决了通过人类解释性的经验评估政策的问题。尽管缺乏明确的定义，但研究人员对“模拟性”的概念达成了共识：政策解释性应与人类如何理解所给出的政策行动有关。为了推进可解释的强化学习研究，我们为评估政策解释性做出了新的方法。这种新方法依赖于代理来进行模拟性，我们用来对政策解释性进行大规模的经验评估。我们使用模仿学习来通过将专家神经网络提炼为小程序来计算基线政策。然后，我们表明，使用我们的方法来评估基准解释性会导致与用户研究相似的结论。我们表明，提高可解释性并不一定会降低表现，有时会增加它们。我们还表明，没有政策类别可以更好地跨越各个任务的可解释性和绩效进行交易，这使得研究人员有必要拥有比较政策可解释性的方法。
如何创建，提炼或修剪自己的小语言模型
GPT-2模型体系结构。GPT-2模型包含N变压器解码器块，如左图所示。每个解码器块（中心面板）包括一个多头蒙版的注意层，一个多层感知层，归一化和辍学层。剩余连接（与加法操作员的分支线）允许该块从上一个块的输入中学习。使用Q，K和V向量计算出注意力层（右图），以捕获输入序列中的顺序关系。
使用变分量子算法训练迭代协议以提炼 GHZ 状态
我们提出了用于制备 Greenberger-Horne-Zeilinger (GHZ) 状态的优化提炼方案。我们的方法依赖于以受白噪声影响的 GHZ 状态作为输入来训练变分量子电路。通过对该方案进行一次迭代优化，我们发现可以提高 GHZ 状态的保真度，尽管进一步迭代会降低保真度。同样的方案，作用于相干失真的纯态输入，仅在某些特殊情况下有效。然而，我们表明，当在协议的两次迭代后优化输出时，可以实现截然不同的结果。在这种情况下，获得的方案在从受白噪声影响的输入中提炼 GHZ 状态方面更有效。此外，它们还可以纠正几种类型的相干纯态误差。
虚拟量子资源提炼：总体框架与应用
1 东京大学基础科学系，东京 153-8902，日本 2 南洋理工大学数理科学学院南洋量子中心，新加坡 637371，新加坡 3 北京大学前沿计算研究中心，北京 100871，中国 4 北京大学计算机学院，北京 100871，中国 5 数学量子信息 RIKEN Hakubi 研究团队，RIKEN 先驱研究集群，以及 RIKEN 量子计算中心，埼玉县和光市 351-0198，日本 6 东京大学研究生院物理学系，东京文京区 113-0033，日本 7 新加坡国立大学量子技术中心，新加坡科学路 2 号 3 号，新加坡 117543，新加坡 8 CNRS-UNS-NUS-NTU 国际联合研究单位，UMI No. 3654，新加坡 117543，新加坡
虚拟量子资源提炼
1 北京大学计算前沿研究中心，北京 100871，中国 2 北京大学计算机学院，北京 100871，中国 3 数学量子信息 RIKEN Hakubi 研究团队，RIKEN 先驱研究集群 (CPR) 和 RIKEN 量子计算中心 (RQC)，日本埼玉县和光市 351-0198，日本 4 东京大学研究生院物理学系，东京文京区 113-0033，日本 5 东京大学基础科学系，东京 153-8902，日本 6 南洋理工大学物理与数学科学学院南洋量子中心，21 Nanyang Link，637371，新加坡 7 新加坡国立大学量子技术中心，3 Science Drive 2，117543，新加坡 8 CNRS-UNS-NUS-NTU 国际联合研究单位，UMI 3654，新加坡 117543，新加坡
可解释的人工智能：使用知识提炼的基于叶子的药用植物分类
摘要：药用植物在世界许多地方的制药行业中以多种方式用于获取药物。它们传统上尤其在发展中国家使用，在那里它们提供具有成本效益的治疗方法。然而，准确识别药用植物可能具有挑战性。本研究使用深度神经网络和知识提炼方法，该方法基于 8 种基于叶子的埃塞俄比亚药用植物的 4,026 张图像数据集。来自 ResNet50 教师模型的知识被应用于轻量级 2 层学生模型。针对效率进行优化的学生模型实现了 96.91% 的准确率，并且接近教师模型在未见测试数据上的 98.98% 的准确率。训练建立在优化策略之上，包括过采样、数据增强和学习率调整。为了理解模型的决策，我们使用了 LIME（局部可解释模型无关解释）和 Grad-CAM（梯度加权类激活映射）事后解释技术来突出显示对分类有贡献的有影响的图像区域。
高分辨率HLA基因分型在包含体肌炎中的肌炎提炼8.1祖先单倍型与DRB103：01：01，并突出了DRβ1链中精氨酸74的致病作用
目标：包容体肌炎（IBM）是老年人的进行性炎症性肌肉疾病，一些患者产生抗胞质5' - 核苷酸酶1A（NT5C1A，又名CN1A）抗体。人类白细胞抗原（HLA）是发展IBM的最高遗传危险因素。在这项研究中，我们旨在进一步定义HLA等位基因对IBM的贡献和抗CN1A抗体的产生。方法：我们使用Illumina下一代测序进行了113名高加索IBM患者的西澳大利亚人队列和112个种族匹配的对照。使用Genentech/Midas生物信息学包装进行等位基因频率分析和氨基酸对齐。等位基因频率。使用GGSTATSPLOT软件包进行了发作分析时的年龄。所有分析均在RSTUDIO版本1.4.1717中进行。结果：我们的发现验证了HLA-DRB1*03：01：01与IBM的独立关联，并将风险归因于DRβ1蛋白中位置74中的精氨酸残基。相反，DRB4*01：01：01和DQA1*01：02：01具有保护作用；不具备这些等位基因的DRB1*03：01：01的载体增加了IBM在普通高加索人群中发展的14倍。此外，上述基因型的患者平均比没有患者的患者早五年更早出现症状。我们没有发现与抗CN1A抗体产生的HLA关联。结论：高分辨率HLA测序更精确地表征了与IBM相关的等位基因，并定义了与早期疾病发作相关的单倍型。通过对免疫遗传学数据的高级生物统计分析来识别关键氨基酸残基，提供了机械洞察力和未来的方向，以发现IBM AetioPADENESECHESED。
LaSNN：分层 ANN 到 SNN 提炼，用于深度脉冲神经网络的有效和高效训练
摘要 —脉冲神经网络 (SNN) 具有生物现实性，且由于其事件驱动机制而在低功耗计算方面具有实际应用前景。通常，SNN 的训练会在各种任务上遭受准确度损失，其性能不如 ANN。提出了一种转换方案，通过将训练好的 ANN 参数映射到具有相同结构的 SNN 来获得具有竞争力的准确度。然而，这些转换后的 SNN 需要大量的时间步骤，从而失去了节能优势。利用 ANN 的准确度优势和 SNN 的计算效率，提出了一种新颖的 SNN 训练框架，即逐层 ANN 到 SNN 知识提炼 (LaSNN)。为了实现具有竞争力的准确度和减少推理延迟，LaSNN 通过提炼知识而不是转换 ANN 的参数将学习从训练有素的 ANN 转移到小型 SNN。通过引入注意力机制，我们弥合了异构 ANN 和 SNN 之间的信息鸿沟，利用我们的分层蒸馏范式有效地压缩了 ANN 中的知识，然后有效地传输这些知识。我们进行了详细的实验，以证明 LaSNN 在三个基准数据集（CIFAR-10、CIFAR-100 和 Tiny ImageNet）上的有效性、功效和可扩展性。与 ANN 相比，我们实现了具有竞争力的 top-1 准确率，并且推理速度比具有类似性能的转换后的 SNN 快 20 倍。更重要的是，LaSNN 灵活且可扩展，可以毫不费力地为具有不同架构/深度和输入编码方法的 SNN 开发，从而促进其潜在发展。
难以区分的光子的提炼
可靠的相同（不可区分）光子源是利用干涉效应的先决条件，而干涉效应是基于线性光学的量子计算及其应用（如玻色子采样）的必要组成部分。一般而言，可区分程度将决定特定方法的有效性，例如通过限制构造资源状态的保真度，或降低光学电路输出分布的复杂性。因此，设计高纯度和不可区分的光子源具有重要的实际意义。受魔法状态蒸馏的启发，我们提出了一种使用标准线性光学的协议，该协议可用于将光子源的不可区分性提高到任意精度。特别是，在小误差 ϵ 的渐近极限下，要将误差降低到 ϵ ′ < ϵ 需要 O (( ϵ/ϵ ′ ) 2 ) 个光子。我们证明该方案对光学元件中的检测和控制误差具有鲁棒性，并讨论了其他误差源的影响。
视觉到脑电图跨模态知识提炼，实现持续情绪识别
视觉模态是当前连续情绪识别方法中最主要的模态之一。与视觉模态相比，EEG 模态由于其固有的局限性（例如主体偏见和低空间分辨率）而相对不太可靠。这项工作尝试利用来自视觉模态的暗知识来改善 EEG 模态的连续预测。教师模型由级联卷积神经网络-时间卷积网络 (CNN-TCN) 架构构建，学生模型由 TCN 构建。它们分别由视频帧和 EEG 平均频带功率特征输入。采用两种数据划分方案，即试验级随机分流 (TRS) 和留一主体剔除 (LOSO)。独立的老师和学生可以产生优于基线方法的连续预测，并且使用视觉到 EEG 跨模态 KD 进一步改善了预测，具有统计显著性，即 TRS 的 p 值 < 0.01 和 p 值 < 0。 05 用于 LOSO 分区。训练后的学生模型的显着性图显示，与活跃价态相关的大脑区域并不位于精确的大脑区域。相反，它来自各个大脑区域之间的同步活动。与其他波段相比，频率为 18 − 30 Hz 和 30 − 45 Hz 的快速 beta 和 gamma 波对人类情绪过程的贡献最大。代码可在 https://github.com/sucv/Visual _ to _ EEG _ Cross _ Modal _ KD _ for _ CER 获得。