我们提出了一种基于神经网络的方法,该方法可计算一个稳定且通用的度量(LSiM)来比较来自各种数值模拟源的数据。我们专注于标量时间相关的二维数据,这些数据通常来自基于运动和传输的偏微分方程(PDE)。我们的方法采用了一种由度量的数学性质驱动的孪生网络架构。我们利用带有 PDE 求解器的可控数据生成设置,在受控环境中从参考模拟中创建越来越不同的输出。我们学习到的度量的一个核心组成部分是一个专门的损失函数,它将关于单个数据样本之间相关性的知识引入训练过程。为了证明所提出的方法优于现有的向量空间度量和其他基于图像的学习到的度量,我们在大量测试数据上评估了不同的方法。此外,我们分析了可调节训练数据难度的泛化优势,并通过对三个真实数据集的评估证明了 LSiM 的稳健性。
摘要 — 近年来,基于脑电图 (EEG) 的神经反馈在耳鸣治疗中得到了广泛的研究。大多数现有研究依赖于专家的认知预测,而基于机器学习和深度学习的研究要么需要大量数据,要么不能很好地推广到新对象。在本文中,我们提出了一种基于 EEG 的耳鸣神经反馈的稳健、数据高效的模型,用于区分耳鸣和健康状态。我们提出了趋势描述符,一种精细度较低的特征提取器,以减少电极噪声对 EEG 信号的影响,以及以监督方式增强的孪生编码器-解码器网络,以学习精确对齐并获得跨受试者和 EEG 信号通道的高质量可转移映射。我们的实验表明,在分析受试者对 90dB 和 100dB 声音的脑电图神经反馈时,所提出的方法明显优于最先进的算法,在独立于受试者的环境中预测耳鸣和对照受试者的准确率达到 91.67%-94.44%。我们对混合受试者和参数的消融研究表明该方法的性能稳定性。
那一年,有两本新的科学期刊问世:1 月 5 日,法语版的 Journal des Sçavans 出版,由其创始人 M. Denis de Sallo 提供。另一本英文版的 Philosophical Transactions of the Royal Society 于 3 月 6 日出版。M de Sallo 绝不为新来者辩护——他的十二页中有八篇文章,随后在翻译中受到德国和意大利读者的称赞。1 这些贡献涉及的主题包括对 5 世纪作家 Vitensis 和 Tapsensis 作品的书评;对可以观察土星和木星的新镜头的评论;对一本关于打喷嚏的再版书籍的评论;笛卡尔两篇论文的遗作出版;以及摘录自牛津的一封关于连体双胞胎的信,其中包含他们的尸检。萨洛先生敦促读者,应该能够欣赏书评、名人讣告、物理和化学实验、艺术和科学发现(包括对天空的观察,更不用说对流星的观察)以及对动物的解剖学发现。读者印记写道,欧洲不应该发生任何可能激起文人好奇心的事情,而这本杂志却没有。2
尽管开发了用于合成图像归因的多种方法,但其中大多数只能归因于训练集中包含的模型或体系结构生成的图像,并且不适用于未知体系结构,从而阻碍了其在现实世界中的适用性。在本文中,我们提出了一个依赖暹罗网络来解决合成图像对生成它们的体系结构的开放设定归因的问题。我们考虑两个不同的设置。在第一个设置中,系统确定是否由相同的生成体系结构产生了两个图像。在第二个设置中,系统验证了用于生成合成图像的体系结构的主张,并利用由声明的体系结构生成的一个或多个参考图像。提出的系统的主要优势在于它在封闭和开放式场景中都可以操作的能力,以便输入图像(查询和参考图像)可以属于训练期间考虑的体系结构。实验评估包括各种生成架构,例如gan,扩散模型和变压器,重点关注合成面部图像产生,并在封闭和开放设定的设置以及其强大的概括能力中确认了我们方法的出色性能。
在医疗保健和生物医学应用中,极端的计算要求对采用表示学习构成了重大障碍。表示学习可以通过从有限的医疗数据中学习有用的先验来提高深度学习架构的性能。然而,最先进的自监督技术在使用较小的批量或较短的预训练时间时性能会降低,这在临床环境中更为实用。为了应对这一挑战,我们提出了跨架构-自监督(CASS)。这种新颖的暹罗自监督学习方法协同利用 Transformer 和卷积神经网络(CNN)进行高效学习。我们的实证评估表明,CASS 训练的 CNN 和 Transformer 在四个不同的医疗保健数据集上的表现优于现有的自监督学习方法。仅使用 1% 的标记数据进行微调,CASS 实现了 3.8% 的平均提升;使用 10% 的标记数据,它获得了 5.9%;而使用 100% 标记数据,其性能提升显著,达到 10.13%。值得注意的是,与最先进的方法相比,CASS 将预训练时间缩短了 69%,使其更适合临床实施。我们还证明,CASS 对批次大小和预训练周期的变化具有更强的鲁棒性,使其成为医疗保健应用中机器学习的合适候选者。
使用脑电图增加访问脑信号数据的访问会创造新的机会来研究电生理学大脑活动并进行神经系统疾病的门诊诊断。这项工作提出了一种依靠信号光谱特性的精神分裂症分类的成对距离学习方法。能够处理数量有限的观察结果的临床试验(即案例和/或对照个体),我们提出了一个暹罗神经网络结构,以从每个通道的观测值组合中学习一个歧视性特征空间。通过这种方式,信号的多元顺序用作数据增强的一种形式,进一步支持网络泛化能力。卷积层具有在余弦对比损失下学习的参数,以充分探索从大脑信号中得出的光谱图像。根据静止状态方案的参考临床试验数据对精神分裂症诊断的拟议方法进行了测试,达到0.95±0.05精度,0.98±0.02敏感性和0.92±0.07特异性。结果表明,使用所提出的神经网络提取的特征比基准高于诊断精神分裂症的基础线(准确性和敏感性+20pp),这表明存在能够捕获歧视性神经肿瘤的非琐事电生理大脑模式存在。该代码可在github上找到:https://github.com/dcalhas/siamese_schizophrenia_eeg。
人工智能的发展提出了一个关于人类智能的基本问题:人类推理是通过应用从丰富的先前经验中获得的任务特定知识来最好地模拟的,还是基于领域通用的心理表征操纵和比较?我们针对视觉类比推理的情况来解决这个问题。使用熟悉的三维物体(汽车及其零件)的真实图像,我们系统地操纵视觉类比问题中的视点、零件关系和实体属性。我们将人类的表现与两种最近的深度学习模型(孪生网络和关系网络)的表现进行了比较,这两种模型直接经过训练来解决这些问题并将其任务特定知识应用于类比推理。我们还通过将领域通用的映射程序应用于汽车及其零部件的学习表征,开发了一个使用基于零件的比较 (PCM) 的新模型。在四项类比(实验 1)和开放式类比(实验 2)中,领域通用的 PCM 模型(而非特定任务的深度学习模型)在关键方面产生了与人类推理者相似的性能。这些发现证明,通过将大数据的深度学习应用于特定类型的类比问题,不太可能实现类似人类的类比推理。相反,人类确实(并且机器可能)通过学习对多个任务有用的结构信息进行编码的表示,再加上关系相似性的高效计算来实现类比推理。
冠状动脉钙评分(CCS)可以通过用于筛查心血管疾病(CVD)的非门控或门控计算机断层扫描(CT)进行量化。和非门控的CT用于常规冠状动脉钙(CAC)筛查,原因是其可负担性。但是,非门控CT成像的伪影对自动评分构成了重大挑战。为了应对由工件引起的评分偏见,我们开发了一种新颖的语义提示得分暹罗(SPSS)网络,用于非门控CT的自动CC。在SPSS中,我们建立了一个共享网络,该网络具有回归监督学习和语义监督学习。我们通过混合不带CAC掩模的非门控CT并用CAC掩模将CT训练SPS。在回归监督学习中,该网络经过培训,可以预测非门控CT的CC。为了打击运动伪像的影响,我们引入了语义范围的学习。 我们利用门控CT来训练网络以学习更准确的CAC语义功能。 通过整合回归监督学习和语义监督学习,语义信息可以促使重新调查监督的学习,以准确预测非门控CT的CC。通过在公开可用的数据集上进行广泛的实验,我们证明SPS可以减轻像素化文物标签引入的潜在评分偏差。 此外,我们的实验结果表明,SPSS建立了最先进的性能。在回归监督学习中,该网络经过培训,可以预测非门控CT的CC。为了打击运动伪像的影响,我们引入了语义范围的学习。我们利用门控CT来训练网络以学习更准确的CAC语义功能。通过整合回归监督学习和语义监督学习,语义信息可以促使重新调查监督的学习,以准确预测非门控CT的CC。通过在公开可用的数据集上进行广泛的实验,我们证明SPS可以减轻像素化文物标签引入的潜在评分偏差。此外,我们的实验结果表明,SPSS建立了最先进的性能。
由于廉价现成的无线电硬件的可用性增加,对卫星地面系统的信号欺骗和重播攻击变得比以往任何时候都更容易获得。对于旧系统来说,这尤其是一个问题,其中许多系统没有提供加密安全性,并且无法修补以支持新的安全措施。因此,在本文中,我们在卫星系统的背景下探索无线电发射机指纹。我们介绍了SATIQ系统,提出了新的技术,以使用发射器硬件的特征来验证传输,这些硬件在下行的无线电信号上表示为损伤。我们以高样本速率指纹识别的方式观察,使设备的指纹难以伪造而没有类似的高样本速率传输硬件,从而增加了欺骗和重播攻击所需的预算。我们还通过高水平的大气噪声和多径散射来检查这种方法的难度,并分析了该问题的潜在解决方案。我们专注于虹膜卫星星座,为此,我们以25 ms / s的采样速率收集了1 705 202条消息。我们使用这些数据来训练由自动编码器与暹罗神经网络相结合的指纹模型,从而使模型能够学习保留识别信息的消息头的有效编码。我们通过使用软件定义的无线电重新启动消息来证明指纹系统的鲁棒性,达到0的错误率为0。120,ROC AUC为0。946。最后,我们通过引入培训和测试数据之间的时间差距,及其可扩展性来分析其稳定性,并通过引入以前从未有过的新变送器来分析其稳定性。我们得出的结论是,我们的技术对于构建随着时间的推移稳定的指纹系统非常有用,可以与新的发射机无需再培训即可立即使用,并通过提高所需的攻击预算来提供稳健性,以防止欺骗和重播攻击。
由于廉价现成的无线电硬件的可用性增加,对卫星地面系统的信号欺骗和重播攻击变得比以往任何时候都更容易获得。对于旧系统来说,这尤其是一个问题,其中许多系统没有提供加密安全性,并且无法修补以支持新的安全措施。因此,在本文中,我们在卫星系统的背景下探索无线电发射机指纹。我们介绍了SATIQ系统,提出了新的技术,以使用发射器硬件的特征来验证传输,这些硬件在下行的无线电信号上表示为损伤。我们以高样本速率指纹识别的方式观察,使设备的指纹难以伪造而没有类似的高样本速率传输硬件,从而增加了欺骗和重播攻击所需的预算。我们还通过高水平的大气噪声和多径散射来检查这种方法的难度,并分析了该问题的潜在解决方案。我们专注于虹膜卫星星座,为此,我们以25 ms / s的采样速率收集了1 705 202条消息。我们使用这些数据来训练由自动编码器与暹罗神经网络相结合的指纹模型,从而使模型能够学习保留识别信息的消息头的有效编码。我们通过使用软件定义的无线电重新启动消息来证明指纹系统的鲁棒性,达到0的错误率为0。120,ROC AUC为0。946。最后,我们通过引入培训和测试数据之间的时间差距,及其可扩展性来分析其稳定性,并通过引入以前从未有过的新变送器来分析其稳定性。我们得出的结论是,我们的技术对于构建随着时间的推移稳定的指纹系统非常有用,可以与新的发射机无需再培训即可立即使用,并通过提高所需的攻击预算来提供稳健性,以防止欺骗和重播攻击。