XiaoMi-AI文件搜索系统
World File Search System神经网
使用数据约束的循环神经网络模型推断全脑交互
行为源自多个在解剖学和功能上不同的大脑区域的协调活动 1,2 。现代实验工具 3–5 使我们能够前所未有地接触大量神经群，甚至是横跨全脑许多相互作用区域的神经群 2 。然而，要理解如此大规模的数据集，不仅需要稳健、可扩展的计算模型来提取区域间通信的有意义特征，还需要原则性理论来解释这些特征。在这里，我们介绍了基于电流的分解 (CURBD)，这是一种使用数据约束的循环神经网络模型 6 推断全脑相互作用的方法，该模型一旦经过训练，就会自主产生与实验获得的神经数据一致的动态。CURBD 利用从这些模型推断出的功能相互作用来同时揭示多个大脑区域之间的定向电流。我们首先表明，CURBD 可以在具有已知连接和动态的模拟真实网络中准确地隔离区域间电流。然后，我们将 CURBD 应用于从广泛的神经数据集（斑马鱼幼虫 7 、小鼠 8 、猕猴 9 和人类 10 ）获得的多区域神经记录，以证明 CURBD 在解开全脑相互作用和行为背后的区域间通信原理方面的广泛适用性。
使用粒子群优化人工神经网络检测黑色素瘤
黑色素瘤是一种最可怕的皮肤癌，死亡率很高，最初是通过临床筛查、皮肤镜分析、活检和组织病理学检查进行目视诊断的。如果诊断和早期治疗延误，就会变得很危险。图像处理技术的最新发展有助于有效地检测黑色素瘤，因为由于病变的细粒度变化，检测黑色素瘤是一项艰巨的工作。本文研究了一种使用粒子群优化人工神经网络分析病变不规则性的新分类程序。在本研究论文中，提取病变的颜色特征并使用 PSO-ANN 分类器进行分类。通过标记假阳性率和真阳性率获得的接收者操作特性在分析计算机辅助诊断系统的诊断潜力方面起着至关重要的作用。应用于 ISIC 数据库的分类技术表明曲线下面积为 0.96853，特异性为 90.0%，灵敏度为 94.07%，准确率为 93.04%。
基于NARX复发神经网络和移动窗口方法的锂离子电池的充电状态估计
摘要准确的充电状态（SOC）估计取决于精确的电池模型。非线性和不稳定干扰因素的影响使准确的SOC估计变得困难。为了获得准确的电池模型，提出了基于NARX（具有外源输入的非线性自回归网络）的方法，提出了复发性神经网络和移动窗口方法。本文从以下三个方面提高了SOC估计的准确性，建模速度和鲁棒性。首先，为了克服对模型训练过程中数据量的过度依赖，使用NARX复发性神经网络来建立电池模型。narx（具有外部输入的非线性自回旋）具有延迟和反馈功能的复发性神经网络可以保留上一刻的输入和输出，并将其添加到下一个时刻的计算中。因此，使用少量数据实现了更好的估计结果；其次，移动窗口方法用于梯度爆炸和NARX模型训练过程中可能发生的梯度消失。第三，通过将其与不同的工作条件和不同温度下的其他方法进行比较，可以验证该模型的有效性。结果表明，所提出的模型具有更高的SOC估计准确性和速度。提出的模型的RMSE性能减少了约65％，并且执行时间缩短了约50％。
通过噪声生长和自组织的神经网络
活神经网络通过生长和自组织过程出现，从单个细胞开始，最终形成大脑，一个有组织、有功能的计算设备。然而，人工神经网络依靠人类设计的手工编程架构来实现其卓越的性能。我们能否开发出无需人工干预就能生长和自组织的人工计算设备？在本文中，我们提出了一种受生物启发的开发算法，该算法可以从单个初始细胞“生长”出一个功能齐全的分层神经网络。该算法组织层间连接以构建视网膜主题池化层。我们的方法受到早期视觉系统所采用的机制的启发，在动物睁开眼睛前几天，该系统将视网膜连接到外侧膝状体 (LGN)。稳健自组织的关键因素是第一层中出现的自发时空活动波和第二层中“学习”第一层中底层活动模式的局部学习规则。该算法可适应各种输入层几何形状，对第一层中的故障单元具有鲁棒性，因此可用于成功增长和自组织不同池大小和形状的池架构。该算法提供了一种通过增长和自组织构建分层神经网络的原始程序。我们还证明了从单个单元增长的网络在 MNIST 上的表现与手工制作的网络一样好。从广义上讲，我们的工作表明，受生物启发的开发算法可以应用于在计算机中自主生长功能性“大脑”。
通过图卷积和可逆神经网络对潜在空间中的点云进行去噪
点云经常包含噪声和异常值，为下游应用带来障碍。在本文中，我们介绍了一种新颖的点云去噪方法。通过利用潜在空间，我们明确地发现噪声成分，从而可以提取干净的潜在代码。这反过来又有助于通过逆变换恢复干净点。我们网络中的一个关键组件是一个新的多层图卷积网络，用于捕获从局部到全局各个尺度的丰富几何结构特征。然后将这些特征集成到可逆神经网络中，该网络双射映射潜在空间，以指导噪声解缠结过程。此外，我们使用可逆单调算子来模拟变换过程，有效地增强了集成几何特征的表示。这种增强使我们的网络能够通过将噪声因素和潜在代码中的内在干净点投影到单独的通道上来精确区分它们。定性和定量评估均表明，我们的方法在各种噪声水平下都优于最先进的方法。源代码可在 https://github.com/yanbiao1/PD-LTS 获得。
使用变分循环神经网络进行主动推理，为习惯智能体进行目标导向规划
摘要：至关重要的是要问，代理如何仅使用通过习惯性感觉运动经验获得的部分世界模型来生成行动计划，从而实现目标。尽管许多现有的机器人研究都使用了前向模型框架，但存在高自由度的泛化问题。当前的研究表明，采用生成模型的预测编码 (PC) 和主动推理 (AIF) 框架可以通过学习低维潜在状态空间中的先验分布来开发更好的泛化，该先验分布表示从习惯性感觉运动轨迹中提取的概率结构。在我们提出的模型中，学习是通过推断最佳潜在变量以及突触权重来最大化证据下限来进行的，而目标导向规划是通过推断潜在变量来最大化估计下限来完成的。我们提出的模型在模拟中使用简单和复杂的机器人任务进行了评估，通过为正则化系数设置中间值，证明了在有限的训练数据下学习中具有足够的泛化能力。此外，比较模拟结果表明，由于先验学习将运动计划的搜索限制在习惯轨迹范围内，因此所提出的模型在目标导向规划中优于传统的前向模型。
使用人工神经网络预测 DED 制造过程中的热场
AAbstr bstract act.. 在过去十年中，机器学习越来越吸引多个科学领域的研究人员，特别是在增材制造领域。同时，这项技术对许多研究人员来说仍然是一种黑箱技术。事实上，它允许获得新的见解，以克服传统方法（例如有限元方法）的局限性，并考虑制造过程中发生的多物理复杂现象。这项工作提出了一项全面的研究，用于实施机器学习技术（人工神经网络），以预测 316L 不锈钢和碳化钨直接能量沉积过程中的热场演变。该框架由有限元热模型和神经网络组成。还研究了隐藏层数和每层节点数的影响。结果表明，基于 3 或 4 个隐藏层和整流线性单元作为激活函数的架构可以获得高保真度预测，准确率超过 99%。还强调了所选架构对模型准确性和 CPU 使用率的影响。所提出的框架可用于预测模拟多层沉积时的热场。
用于检测术中ECOG中高频振荡（HFO）的尖峰神经网络（SNN）
要获得癫痫发作的自由，癫痫手术需要完全切除癫痫脑组织。在术中电视学（ECOG）记录中，癫痫组织产生的高频振荡（HFO）可用于量身定制切除缘。但是，实时自动检测HFO仍然是一个开放的挑战。在这里，我们提出了一个尖峰神经网络（SNN），用于自动HFO检测，最适合神经形态硬件实现。我们使用独立标记的数据集（58分钟，16个记录），训练了SNN，以检测从术中ECOG测量的HFO信号。我们针对快速连锁频率范围（250-500 Hz）中HFO的检测，并将网络结果与标记的HFO数据进行了比较。我们赋予了SNN新型的伪影排斥机制，以抑制尖锐的瞬变并证明其在ECOG数据集中的有效性。该SNN检测到的HFO速率（中位数为6.6 HFO/ min）与数据集中发布的HFO率（Spearman'sρ= 0.81）相当。所有8例患者的术后癫痫发作结果被“预测”为100％（CI [63 100％]）的精度。这些结果为建造实时便携式电池式HFO检测系统提供了进一步的一步，该检测系统可在癫痫手术期间使用，以指导癫痫发作区的切除。
从聚类效应角度解释神经网络的对抗鲁棒性
对抗训练（AT）是提高深度神经网络鲁棒性的最常用机制。最近，一种针对中间层的新型对抗攻击利用了对抗训练网络的额外脆弱性，输出错误的预测。这一结果说明对抗训练中对抗扰动的搜索空间不足。为了阐明中间层攻击有效的原因，我们将前向传播解释为聚类效应，表征神经网络对于与训练集具有相同标签的样本的中间层表示相似，并通过相应的信息瓶颈理论从理论上证明了聚类效应的存在。随后我们观察到中间层攻击违反了 AT 训练模型的聚类效应。受这些重要观察的启发，我们提出了一种正则化方法来扩展训练过程中的扰动搜索空间，称为充分对抗训练（SAT）。我们通过严格的数学证明给出了经过验证的神经网络鲁棒性界限。实验评估表明，SAT 在防御针对输出层和中间层的对抗性攻击方面优于其他最先进的 AT 机制。我们的代码和附录可以在 https://github.com/clustering-effect/SAT 找到。