方法:本研究提出了一种方差特征保持的 CSP(VPCSP),并通过基于图论的正则化项对其进行了修改。具体来说,我们在局部保留方差特征的同时计算投影数据的异常损失。然后,通过引入拉普拉斯矩阵将损失重写为矩阵,从而将其转化为与 CSP 等价的广义特征值问题。本研究在来自 BCI 竞赛的两个公共 EEG 数据集上评估了所提出的方法。改进的方法可以提取稳健且可区分的特征,从而提供更高的分类性能。实验结果表明,所提出的正则化显著提高了 CSP 的有效性,并且与已报道的改进 CSP 算法相比取得了显著更好的性能。
摘要。随着深度学习 (DL) 的进步,人们对可再生能源产量预测的关注度日益增加。可再生能源固有的多变性和预测方法的复杂性要求可再生能源领域采用稳健的方法,例如 DL 模型。与传统机器学习 (ML) 相比,DL 模型更受欢迎,因为它们可以捕捉可再生能源数据集中复杂的非线性关系。本研究通过比较 DL 框架内的各种方法和训练/测试比率,研究了影响 DL 技术准确性的关键因素,包括采样和超参数优化。使用结合了来自 12 个地点的天气和光伏电力输出数据的数据集,评估了七种机器学习方法——LSTM、Stacked LSTM、CNN、CNN-LSTM、DNN、时间分布式 MLP (TD-MLP) 和自动编码器 (AE)。应用早期停止、神经元丢失和 L1/L2 正则化等正则化技术来解决过度拟合问题。结果表明,早期停止、dropout 和 L1 正则化的组合对于减少具有较大训练集的 CNN 和 TD-MLP 模型中的过度拟合效果最佳,而早期停止、dropout 和 L2 正则化的组合对于减少具有较小训练集的 CNN-LSTM 和 AE 模型中的过度拟合效果最有效。
随机辍学已成为人工神经网络(ANN)中的标准正则化技术,但是目前尚不清楚生物神经网络(Bionns)中是否存在类似机制。如果这样做,它的结构可能会通过数亿年的进化来优化,这可能表明大规模ANN中的新型辍学策略。我们建议大脑血清素能纤维符合一些预期的标准,因为它们的存在,随机结构和在整个人的寿命中成长的能力。由于血清素能纤维的轨迹可以建模为异常扩散过程的路径,因此,在这项概念验证研究中,我们研究了基于超级产生分数布朗尼运动(FBM)的辍学算法。这项研究有助于ANN中受生物启发的正则化。
尽管近年来对持续学习(CL)的兴趣日益增强,但继续加强学习(CRL)仍然是一项艰巨的任务,因为深层神经网络必须从维持旧任务表现的新任务中从每个从未见过的新任务中推断出适当的行动。为了解决此问题,一些CRL算法使用基于正则化的方法来限制常规CL中使用的权重和基于重播的方法。但是,它需要花费大量时间来学习,因为它需要大量的基于重播和具有复杂正则化项的内存。在本文中,我们提出了一个简单的框架,用于保留相关顺序任务之间的知识fmal,即MAP注意力丢失。我们的方法利用模型的一般CNN,可以很好地执行所有顺序任务,并且注意机制用于提取基本特征进行传输。另外,FMAL同时使用正规化方法和基于重播的方法,例如现有的CRL方法。但是,学习所需的记忆量要小得多,正则化的项相对简单。我们使用最先进的算法评估FMAL。实验结果表明,我们的方法以较高的奖励超过这些基准。
此手稿总结了设计机器学习模型的研究,以发现精神障碍的大脑成像特征。我们探索了缩小维度和正规化策略,以提出由大量的介导测量引起的“维度的诅咒”。鉴于稀疏模型产生稳定且可解释的预测性特征的局限性,我们建议通过整合空间约束来推动正则化。对实验数据的评估表明,这些约束迫使解决方案遵守生物学先验,从而产生更合理的可解释的预测性临床状态脑签名。为了弥合生物学过程和脑成像之间的间隙,我们提出了多元潜在可变稀疏模型,以研究大脑对遗传的影响。
计算机视觉教授Vineeth N Balasubramanian计算机科学与工程学系印度技术学院的深度学习,海得拉巴27神经网络中的正规化(请参阅幻灯片时间:00:14)
经典和量子相变中出现的临界现象因其实验相关性和理论意义而备受关注[2,3]。许多临界现象被认为可以用共形场论(CFT)来描述,这些场论具有强相互作用,对二维(即 1 + 1D)以上更高时空维度的研究提出了挑战。最近,一种称为模糊(非交换)球面正则化 [1] 的方法被发明来研究由圆柱几何上的 3D CFT 控制的 3D(即 2 + 1D)临界现象,表示为 S 2 × R 。与传统的格点正则化相比,模糊球面正则化在三维 CFT 的研究中具有许多优势,这主要归功于它在 S 2 × R 中利用了径向量化[ 4 , 5 ]以及精确保存了球面 SO ( 3 ) 对称性[ 6 , 7 ],这一点最近已被令人信服地证明[ 1 , 8 – 11 ]。首先,模糊球面可以直接获取有关临界状态下出现的共形对称性的信息[ 1 , 10 ]。其次,它可以直接提取 CFT 的各种数据,包括共形主算子的众多缩放维度[ 1 , 10 ]、算子积展开系数[ 8 ]和四点相关器[ 9 ]。例如,可以直接从系统的激发能量计算缩放维度,并且可以使用共形扰动进一步提高其精度[12]。第三,模糊球方案适用于各种三维CFT,包括Ising[1]、O(N)Wilson-Fisher、SO(5)非禁闭相变[10]、临界规范理论[10]和缺陷CFT[11]。最后,当哈密顿量经过合理微调时,模糊球正则化表现出令人难以置信的小有限尺寸效应。模糊球正则化的这些优势为探索高效率、高精度和全面的三维CFT提供了激动人心的机会。模糊球正则化考虑了一个微观量子哈密顿量,在连续球面空间中对具有多种口味的费米子进行建模,并将费米子投影到最低球面朗道能级 [ 1 , 6 , 13 ] 。与规则晶格模型相比,模糊球模型在紫外极限下严格保持了连续旋转对称性。得益于通过微调实现的极小的有限尺寸效应,精确对角化 (ED) 和密度矩阵重正则化群 (DMRG) 方法等数值算法在研究 3D Ising CFT 和 SO ( 5 ) 解禁相变的模糊球模型时非常有效。然而,这两种算法的计算成本最终会随着系统尺寸呈指数增长。更重要的是,对于涉及大量费米子口味的情况,ED 和 DMRG 的计算成本很快就会超过实际的资源和时间限制。在这些情况下,使用随时间多项式缩放的方法(例如量子蒙特卡罗 (QMC))来研究模糊球面上的模型将会很有帮助。本文旨在利用 3D Ising CFT 作为示例,展示 QMC 方法在研究模糊球面上的 3D CFT 中的应用。在参考文献 [ 13 , 14 ] 中可以找到有关模糊环面模型的类似讨论。与参考文献 [ 1 ] 中介绍的模糊球面 Ising 模型相比,我们在费米子中引入了一个额外的味道指数,这会导致 QMC 模拟没有符号问题。作为基准,我们提供了数值
定向进化(DE)是一种蛋白质工程技术,涉及诱变和筛选以搜索优化给定特性的序列(例如将有效绑定到指定目标)。不幸的是,潜在的优化问题不确定,因此引入的突变以提高指定特性可能是以未定的,但重要的属性为代价的(例如,亚细胞定位)。我们试图通过将折叠的正则化因子纳入优化问题来解决这个问题。正则化因子偏向于类似于蛋白质所属折叠族的序列的设计的搜索。我们将方法应用于具有与IgG-FC的官能测量值的大型蛋白质GB1突变体库。我们的结果表明,正则化优化问题会产生更多类似天然的GB1序列,而结合效率仅略有下降。特别是,在GB1折叠族的生成模型下,我们的设计的对数比没有正则化的生成模型高41-45%,而结合效果仅下降了7%。因此,我们的方法能够在竞争性状之间进行交易。此外,我们证明了我们的主动学习驱动方法可将湿lab负担降低,以识别最佳的GB1设计,相对于Arnold Lab在同一数据上的最新结果。