其中矩阵w(j)µ和w(j)σ表示层j,j j〜n(0,1)的后验分布的平均值和标准偏差,而操作员norm(β,βJ,γJ),可训练的参数βJ和γj的均值和标准偏差,可以指代任何批次,层,层,层,层或实例化。
作为一种新的编程范式,基于神经网络的机器学习已将其应用扩展到许多现实世界中的问题。由于神经网络的黑盒性质,验证和解释其行为变得越来越重要,尤其是当它们部署在安全至关重要的应用中时。现有的验证工作主要集中于定性验证,该验证询问是否存在针对神经网络的输入(指定区域),以便违反财产(例如,局部鲁棒性)。但是,在许多实际应用中,几乎可以肯定存在这样的(对抗性)输入,这使得定性答案降低了有意义。在这项工作中,我们研究了一个更有趣,更具挑战性的问题,即对神经网络的定量验证,该验证询问财产经常得到满足或侵犯财产的频率。我们针对二进制神经网络(BNNS),一般神经网络的1位量化。BNN最近在深度学习中引起了越来越多的关注,因为它们可以大幅度地减少记忆存储和执行时间,而智力操作在求助方案中至关重要,例如,嵌入式设备用于物联网的嵌入式设备。朝着对BNNS的定量验证,我们提出了一种新型算法方法,用于将BNN作为二进制决策图(BDDS),这是一种在形式验证和知识表示中广泛研究的模型。通过利用BNN的内部结构,我们的编码将BNN中块的输入输出关系转化为基数约束,然后由BDD编码。基于新的BDD编码,我们为BNN开发了一个定量验证框架,可以在其中对BNN进行精确和全面的分析。为了提高BDD编码的可扩展性,我们还研究了各个级别的并行化策略。我们通过为BNN提供定量鲁棒性验证和解释性来证明我们的框架的应用。广泛的实验评估证实了我们方法的有效性和效率。
摘要 - 在物理验证流中,layout热点检测非常重要。深度神经网络模型已应用于热点检测并取得了巨大的成功。布局可以视为二进制图像。因此,二进制的neu-lal网络(BNN)可以适合热点检测问题。在本文中,我们提出了一个基于BNN的新深度学习档案,以加快热点检测中的神经网络。一个新的二进制残留神经网络经过精心设计用于热点检测。ICCAD 2012和2019基准的实验结果表明,我们的体系结构在检测准确性方面优于先前的热点探测器,并且比最佳基于深度学习的解决方案具有8倍的速度。由于基于BNN的模型在计算上是相当有效的,因此可以通过采用集合学习方法来实现良好的权衡。实验结果表明,集成模型比原始速度损失具有更好的热点检测性能。
图4A描绘了具有不同BNNS分数的质量化的BNNS@环氧复合板。在用BNN掺杂之前,环氧树脂板看起来是黄色和透明的。然而,掺杂后,颜色变为白色,随着BNNS浓度的增加,板的透明度会降低。也可以推断出BNN均匀分散在整个环氧树脂中,从而导致均匀的复合材料。图4B说明了用于评估BNN@Epoxy复合板的Terahertz辐射屏蔽有效性的实验设置。实验设置由Terasense源组成,该源以100 GHz的频率发出连续波,其输出功率为80 MW,光电传输天线和THZ-B检测器(Gentec-EO)。这些组件由LabView Software(Gentec-eo)无缝协调,以从源头获得有效的数据采集和处理。值得注意的是,发射的辐射通过由BNNS@环氧复合板制成的衰减器,精心设计,以满足实验的特定要求。
摘要 — 深度学习的出现大大加速了机器学习的发展。然而,边缘深度神经网络的部署受到其高内存和能耗要求的限制。随着新内存技术的出现,新兴的二值化神经网络 (BNN) 有望降低即将到来的机器学习硬件一代的能量影响,使机器学习能够在边缘设备上进行,并避免通过网络传输数据。在这项工作中,在介绍采用混合 CMOS - 氧化铪电阻存储器技术的实现后,我们提出了将 BNN 应用于心电图和脑电图等生物医学信号的策略,以保持准确度水平并降低内存要求。我们研究了二值化整个网络和仅二值化分类器部分时的内存-准确度权衡。我们还讨论了这些结果如何转化为 Imagenet 任务上面向边缘的 Mobilenet V1 神经网络。这项研究的最终目标是实现智能自主医疗设备。
摘要 — 深度学习的出现大大加速了机器学习的发展。然而,边缘深度神经网络的部署受到其高内存和能耗要求的限制。随着新内存技术的出现,新兴的二值化神经网络 (BNN) 有望降低即将到来的机器学习硬件一代的能量影响,使机器学习能够在边缘设备上进行,并避免通过网络传输数据。在这项工作中,在介绍采用混合 CMOS - 氧化铪电阻存储器技术的实现后,我们提出了将 BNN 应用于心电图和脑电图等生物医学信号的策略,以保持准确度水平并降低内存要求。我们研究了二值化整个网络和仅二值化分类器部分时的内存-准确度权衡。我们还讨论了这些结果如何转化为 Imagenet 任务上面向边缘的 Mobilenet V1 神经网络。这项研究的最终目标是实现智能自主医疗设备。
a 荷兰国家公共卫生与环境研究所 (RIVM) 和乌得勒支大学风险评估科学研究所,荷兰乌得勒支 b 荷兰国家公共卫生与环境研究所 (RIVM) c TEMAS Solutions GmbH,瑞士豪森 d Seven Past Nine,斯洛文尼亚采尔克尼察 e BioNanoNet Forschungsgesellschaft mbH (BNN),奥地利 f AcumenIST SRL,比利时布鲁塞尔 g 德国联邦职业安全与健康研究所 (BAuA) h 萨尔茨堡巴黎洛德隆大学,奥地利 i 保加利亚东欧研究与创新企业有限公司 j 卡罗琳斯卡医学院环境医学研究所,瑞典索尔纳 k 德国联邦职业安全与健康研究所 (BAuA) l 伯明翰大学地理、地球与环境科学学院,英国伯明翰
• 建立数字孪生框架,使 NASA 遥感数据产品和陆地表面模型产品能够直接与作物生长模型耦合或同化 • 通过 NASA 土地信息系统(LIS)同化高分辨率遥感输入(例如降水、温度、土壤湿度等)以估计每日时间尺度上的陆地表面变量(水和能量通量) • 实施作物生长模型、根区水质模型和农业技术转移决策支持系统,以估计长期天气条件和预测的未来气候情景下的作物生长状态、生物量和作物产量 • 实施贝叶斯神经网络 (BNN) 模型来预测最终的县级作物产量 • 开发工具进行“假设”调查以提供农业指导 • 开发使用操作 Web 应用程序传播非机密作物进展数据、生物量和作物产量地图的能力
尽管它看起来不可行且不切实际,但使用基于对神经科学的理解的自下而上的方法来构建人工智能(AI)是简单的。缺乏生物神经网络(BNNS)的普遍管理原理,迫使我们通过将有关神经元,突触和神经回路的各种特征转换为AI的各种特征来解决这个问题。在这篇综述中,我们描述了通过遵循神经科学相似的神经网络优化策略或植入优化结果,例如单个计算单元的属性和网络结构的特征,以构建生物学上合理的神经网络。此外,我们提出了神经网络试图实现的目标集与神经网络类别之间的关系形式主义,而神经网络类别则按照其架构特征与BNN的建筑特征相似。这种形式主义有望定义自上而下和自下而上的方法在建立生物学上合理的神经网络的潜在作用,并获得一张地图,以帮助导航神经科学与AI工程之间的差距。
六角硼硝酸盐(H-BN)由于其令人难以置信的电气,热和机械性能而近期引起了很多关注。其化学成分导致其化学惰性和无毒性,这使其与石墨材料不同(1)。过去,H-BN由于其摩擦学特性,即摩擦,润滑,表面相互作用。例如,这些特性已被理论上有效为航天器上的涂层,因为其在高温下保持其结构的能力(2,3)。对H-BN的分析较小,因为六角硼氮化硼纳米片(BNNS)也很感兴趣。正如已经发现石墨材料具有广泛的应用程序一样,BNN也是如此。bnns可以用作癌症药物递送的一种方法,因为它比基于石墨烯的材料更具生物相容性和毒性,但保留了许多相同的特性(4)。还发现了在量子信息中使用H-BN的动机,将量子通信科学用作“单光子发射器”(5)。我们对H-BN的特定兴趣源于其在高温下用作紫外光探测器的理论上的使用(6)。