● 也称为“传递函数” - 计算加权和,并决定是否“激发”神经元。 ● 最常见的例子 - 阶跃函数。 ● 非线性激活函数有助于解决复杂问题
对抗训练(AT)是提高深度神经网络鲁棒性的最常用机制。最近,一种针对中间层的新型对抗攻击利用了对抗训练网络的额外脆弱性,输出错误的预测。这一结果说明对抗训练中对抗扰动的搜索空间不足。为了阐明中间层攻击有效的原因,我们将前向传播解释为聚类效应,表征神经网络对于与训练集具有相同标签的样本的中间层表示相似,并通过相应的信息瓶颈理论从理论上证明了聚类效应的存在。随后我们观察到中间层攻击违反了 AT 训练模型的聚类效应。受这些重要观察的启发,我们提出了一种正则化方法来扩展训练过程中的扰动搜索空间,称为充分对抗训练(SAT)。我们通过严格的数学证明给出了经过验证的神经网络鲁棒性界限。实验评估表明,SAT 在防御针对输出层和中间层的对抗性攻击方面优于其他最先进的 AT 机制。我们的代码和附录可以在 https://github.com/clustering-effect/SAT 找到。
我们提出了一种方法来弥合人类视觉计算模型与视觉障碍 (VI) 临床实践之间的差距。简而言之,我们建议将神经科学和机器学习的进步结合起来,研究 VI 对关键功能能力的影响并改进治疗策略。我们回顾了相关文献,目的是促进充分利用人工神经网络 (ANN) 模型来满足视障人士和视觉康复领域操作人员的需求。我们首先总结了现有的视觉问题类型、关键的功能性视觉相关任务以及当前用于评估两者的方法。其次,我们探索最适合模拟视觉问题的 ANN,并在行为(包括性能和注意力测量)和神经层面预测它们对功能性视觉相关任务的影响。我们提供指导方针,为未来针对受 VI 影响的个体开发和部署 ANN 的临床应用研究提供指导。
作为一种新的编程范式,基于神经网络的机器学习已将其应用扩展到许多现实世界中的问题。由于神经网络的黑盒性质,验证和解释其行为变得越来越重要,尤其是当它们部署在安全至关重要的应用中时。现有的验证工作主要集中于定性验证,该验证询问是否存在针对神经网络的输入(指定区域),以便违反财产(例如,局部鲁棒性)。但是,在许多实际应用中,几乎可以肯定存在这样的(对抗性)输入,这使得定性答案降低了有意义。在这项工作中,我们研究了一个更有趣,更具挑战性的问题,即对神经网络的定量验证,该验证询问财产经常得到满足或侵犯财产的频率。我们针对二进制神经网络(BNNS),一般神经网络的1位量化。BNN最近在深度学习中引起了越来越多的关注,因为它们可以大幅度地减少记忆存储和执行时间,而智力操作在求助方案中至关重要,例如,嵌入式设备用于物联网的嵌入式设备。朝着对BNNS的定量验证,我们提出了一种新型算法方法,用于将BNN作为二进制决策图(BDDS),这是一种在形式验证和知识表示中广泛研究的模型。通过利用BNN的内部结构,我们的编码将BNN中块的输入输出关系转化为基数约束,然后由BDD编码。基于新的BDD编码,我们为BNN开发了一个定量验证框架,可以在其中对BNN进行精确和全面的分析。为了提高BDD编码的可扩展性,我们还研究了各个级别的并行化策略。我们通过为BNN提供定量鲁棒性验证和解释性来证明我们的框架的应用。广泛的实验评估证实了我们方法的有效性和效率。
摘要 - 本文提出了一个全面的风险评估模型,以关注气候条件和植被管理对中断风险的影响。使用包含停电记录,流星指标和植被指标的数据集,本文开发了一个逻辑回归模型,该模型优于几个替代方案,有效地确定了高度不平衡的数据中的风险因素。关键特征影响中断包括风速,植被密度,量化为增强的植被指数(EVI)和雪型,潮湿的雪和秋天条件表现出最大的积极作用。分析还显示了复杂的相互作用,例如风速和EVI的综合作用,表明植被密度可以缓解大风对停电的影响。基于618个样本的测试数据集的仿真案例研究表明,该模型在误差公差±0的误差范围内达到了80%的匹配率。05,展示了提出模型的有效性和鲁棒性,同时强调了其潜力,以告知预防策略,以减轻高风险环境条件下电力分配网络中的中断风险。未来的工作将整合LiDar的植被高度数据,并探索替代模型方法以捕获潜在的非线性关系。
摘要 - 本文提出了一个全面的风险评估模型,以关注气候条件和植被管理对中断风险的影响。使用包含停电记录,流星指标和植被指标的数据集,本文开发了一个逻辑回归模型,该模型优于几个替代方案,有效地确定了高度不平衡的数据中的风险因素。关键特征影响中断包括风速,植被密度,量化为增强的植被指数(EVI)和雪型,潮湿的雪和秋天条件表现出最大的积极作用。分析还显示了复杂的相互作用,例如风速和EVI的综合作用,表明植被密度可以缓解大风对停电的影响。基于618个样本的测试数据集的仿真案例研究表明,该模型在误差公差±0的误差范围内达到了80%的匹配率。05,展示了提出模型的有效性和鲁棒性,同时强调了其潜力,以告知预防策略,以减轻高风险环境条件下电力分配网络中的中断风险。未来的工作将整合LiDar的植被高度数据,并探索替代模型方法以捕获潜在的非线性关系。
这项工作是在Ferheen Ayaz在格拉斯哥大学任职时完成的。作者的联系信息:伊德里斯·扎卡里亚(Idris Zakariyya),格拉斯哥大学,格拉斯哥,英国,idris.zakariyya@glasgow.ac.ac.uk; Ferheen Ayaz,城市,伦敦大学,伦敦,英国,ferheen.ayaz@city.ac.uk; Mounia Kharbouche-Harrari,法国Stmicroelectronics,Mounia.kharbouche-harrari@st.com;杰里米·辛格(Jeremy Singer),格拉斯哥大学,英国格拉斯哥,jeremy.singer@glasgow.ac.uk; Sye Loong Keoh,格拉斯哥大学,英国格拉斯哥,syeloong.keoh@ glasgow.ac.uk; Danilo Pau,意大利Stmicroelectronics,danilo.pau@st.com;何塞·卡诺(JoséCano),格拉斯哥大学,英国格拉斯哥,josecano.reyes@glasgow.ac.uk。
摘要 - 通过人工智能(AI)基于人工智能(AI)基于人工智能的沟通优化仍然是基础的基础。作为第六代(6G)通信网络追求全赛纳里奥的覆盖范围,在复杂的极端环境中的选择提出了未经证实的挑战。这些环境的动态性质,结合物理约束,使AI解决方案(例如深度强化学习(DRL))很难为培训过程获得有效的奖励反馈。但是,许多现有的基于DRL的网络优化研究通过理想化的环境设置忽略了这一挑战。受到生成AI(Genai)(尤其是扩散模型)的强大功能的启发,在捕获复杂的潜在分布时,我们引入了一种新颖的基于扩散推理的奖励成型方案(着装),以实现强大的网络优化。通过对观察到的环境状态进行调节和执行动作,着装利用扩散模型的多步降级过程作为深层推理的一种形式,逐渐完善了潜在表示,以产生有意义的辅助奖励信号,以捕获网络系统模式。此外,连衣裙设计用于与任何DRL框架的无缝集成,允许连衣裙辅助的DRL(装扮得出)即使在极端的网络环境下也可以实现稳定而有效的DRL培训。实验结果表明,穿着的DRL大约达到1。礼服代码可从https://github.com/nice-hku/dress获得。与基线方法相比,在稀疏奖励无线环境中的收敛速度比其原始版本快于其原始版本,并且在多个一般DRL基准环境中的性能得到了显着改进。