心理学和神经科学中的抽象认知模型广泛认为人脑保持了任务的抽象表示。这个假设对于解释我们如何快速学习,创造性思考和灵活地采取行动的理论至关重要。然而,缺乏可见生成的抽象任务表示的神经证据。在这里,我们报告了一个实验范式,该范式需要形成这样的表示,以在新的条件下自适应地行动而无需反馈。使用功能性磁共振成像,我们观察到抽象任务结构在左侧前额叶皮层,双侧前序和下顶层皮质内表示。这些结果为我们可以验证其影响的环境中长期支持的抽象任务表示的神经实例化提供了支持。这样的表示可以提供大量的行为灵活性,而无需额外的经验,这是人类认知的重要特征。
深度神经网络作品(DNN)的一个长期问题是了解他们令人困惑的概括能力。We approach this prob lem through the unconventional angle of cogni tive abstraction mechanisms , drawing inspiration from recent neuroscience work, allowing us to define the Cognitive Neural Activation metric (CNA) for DNNs, which is the correlation be tween information complexity (entropy) of given input and the concentration of higher activation values in deeper layers of the network.CNA具有高度预测的概括能力,在对近200个网络实例的广泛评估中进行基于规范和偏见的概括指标,其中包括数据集构造组合的广度,尤其是在存在加性噪声的情况下,并且存在/或培训标签被损坏。这些强大的EM PIRICAL结果表明,CNA作为概括度量的有用性,并鼓励对信息复杂性与更深层次网络中的表示之间的联系进行进一步研究,以便更好地了解DNN的概括能力。1
在深入了解这些局限性之后,我们基于几乎没有学习的学习来实现独特的方案,以使它们过度进行并设计一个综合模型,以验证解决方案的功效。我们首先指出当前的AI生成的图像检测是域的概括任务。先前的研究致力于找到对所有生成图像有效的复合指标。但是,他们忽略了来自不同领域的数据之间的显着区别。我们观察到,在许多现实世界中,实际上可以获得看不见的图像。基于这一事实,通过使用来自看不见的域中的相对几个样本,可以将复杂的任务转换为一个稍微简单的一个称为少量分类的任务。因此,我们可以从这些样品中提取丰富的域信息,并使用它来跨越看不见的数据进行概括。
Maria Coromaina 1:2,3,3,*,Ashvin Ravi 3.4,4,5, Jaeyoung Kim 10.11,Gikashi Terao O。 'Connell 15.16,Mark Adolfsson 18,Martin Alda 19:20,Alfredson 21:Bernhard T. Baune Baune Bernhard T. Baune。 24,25,26, 36,37.38.39,Aiden Corin 40,Nina Dalkner 27,Udo Dannlowski 42,Franziska Tabea Fellendorf 27,Panagius Ferentinos 23:45,Andreas J. Forstner 37.39.46, 51,Melissa J.Maria Coromaina 1:2,3,3,*,Ashvin Ravi 3.4,4,5, Jaeyoung Kim 10.11,Gikashi TeraoO。'Connell 15.16,Mark Adolfsson 18,Martin Alda 19:20,Alfredson 21:Bernhard T. Baune Baune Bernhard T. Baune。 24,25,26, 36,37.38.39,Aiden Corin 40,Nina Dalkner 27,Udo Dannlowski 42,Franziska Tabea Fellendorf 27,Panagius Ferentinos 23:45,Andreas J. Forstner 37.39.46, 51,Melissa J.
了解神经网络在看不见的数据上如何概括对于设计更健壮和可靠的模型至关重要。在本文中,我们使用拓扑数据分析的方法研究了神经网络的概括差距。为此,我们计算训练阶段后神经元激活相关性构建的加权图的同源持久图,旨在捕获与网络的通用能力相关的模式。我们比较了持久图的不同数值摘要的有用性,并表明其中一些可以准确预测并部分解释概括差距而无需测试集。对两项计算机视觉识别任务(CIFAR10和SVHN)的评估显示,与最新方法相比,竞争性的泛化差距预测。
为了在现实世界中部署强化学习(RL)代理,它们必须能够推广到看不见的环境。但是,RL在分布外的概括方面挣扎,通常是由于过度拟合培训环境的细节。尽管可以应用监督学习的正则化技术来避免过度插入,但超级学习和RL之间的差异限制了其应用。为了解决这个问题,我们提出了RL的信噪比调节的参数不确定性网络(SNR PUN)。我们将SNR作为正规化网络的参数定向的新量度,并提供了正式分析,解释了SNR正则为什么对RL效果很好。我们证明了我们提出的方法在几个模拟环境中概括的有效性;在一个物理系统中,显示了使用SNR PUN将RL应用于现实世界应用程序的可能性。
卷积神经网络(CNN)已广泛应用于运动图像(MI)分类范围,从分类精度方面显着提高了最新的(SOA)性能。尽管彻底探索了创新的模型结构,但对目标函数的关注很少。在MI区域中的大多数可用CNN中,标准的横向损失通常作为目标函数执行,这仅确保深度特征可分离性。与当前目标函数的限制相对应,提出了一种新的损失函数,该损失函数与平滑的跨熵(标签平滑)和中心损失的组合被提议作为MI识别任务中模型的监督信号。特别是,通过预测标签和通过均匀分布的噪声正规化的一式硬硬标签之间的熵来计算平滑的横膜。中心损失将学习每个班级的深度特征中心,并最大程度地减少深度特征及其相应中心之间的距离。拟议的损失试图在两个学习目标中优化该模型,以防止过度确定预测并增加深度特征的判别能力(类间的可分离性和内部不变性),从而确保MI识别模型的有效性。我们对两个众所周知的基准(BCI竞争IV-2A和IV-2B)进行了广泛的实验,以评估我们的方法。结果表明,所提出的方法比两个数据集上的其他SOA模型都能达到更好的性能。提出的学习方案为MI分类任务中的CNN模型提供了更强大的优化,同时降低了过度拟合的风险,并增加了深入学习特征的歧视性。
了解神经网络在看不见的数据上如何概括对于设计更多的易萧条和可靠的模型至关重要。在本文中,我们使用拓扑数据分析的方法研究了神经网络的概括差距。为此,我们计算训练阶段后神经元激活相关性构建的加权图的同源持久图,旨在捕获与网络的通用能力相关的模式。我们比较了持久图的不同数值摘要的有用性,并表明其中一些可以准确预测并部分解释生成间隙而无需测试集。对两项计算机视觉识别任务(CIFAR10和SVHN)的评估显示,与最新方法相比,竞争性的泛化差距预测。
摘要 - 自主驾驶的基于深度学习的轨迹预测模型通常会在概括到分布(OOD)方案的概括中遇到困难,有时表现比简单的基于规则的模型差。为了解决这一限制,我们提出了一个新颖的框架,自适应预测集合(APE),该集合整合了深度学习和基于规则的预测专家。学习的路由功能,与深度学习模型同时训练,根据输入方案动态选择最可靠的预测。我们在大规模数据集上进行的实验,包括Waymo Open Motion Datat(WOMD)和Argoverse,证明了整个数据集的零射击概括的改进。我们表明,我们的方法的表现优于单个预测模型和其他变体,尤其是在具有很高比例的OOD数据的长音预测和场景中。这项工作强调了混合方法在自主驾驶中进行鲁棒和可推广的运动预测的潜力。更多详细信息可以在项目页面上找到:https://sites.google.com/view/ ape-generalization。
背景:已提出合成计算机断层扫描(SCT),并越来越多地采用以实现基于磁共振成像(MRI)的放射疗法。深度学习(DL)最近证明了从固定MRI采集中生成准确的SCT的能力。但是,由于模型概括不良,MRI方案可能会随着时间的推移而随着时间的流逝而变化或不同。目的:研究域随机化(DR)以增加脑SCT生成DL模型的概括。方法:收集了95例接受RT患者的CT和相应的T 1加权MRI,带有 /无对比度,T 2加权和FLAIR MRI,考虑到可以研究概括的未见序列的能力。“基线”生成对抗网络进行了 /没有天赋序列的训练,以测试模型在没有DR的情况下的性能。基于SCT的剂量计划的图像相似性和准确性对CT进行了评估,以选择针对基线的表现最佳的DR方法。结果:基线模型在FLAIR上的性能最差,平均绝对误差(MAE)= 106±20.7 HU(平均值±σ)。在MAE = 99.0±14.9 HU的DR模型中,Flair上的性能显着提高,但仍然不如基线 + Flair模型的性能(MAE = 72.6±10.1 HU)。同样,对于DR VS基线,获得了γ速率的提高。结论:DR提高了仅在获得的MRI上训练的未见序列上的图像相似性和剂量准确性。DR使模型更加稳健,从而减少了在未见序列上应用模型时重新训练的需求,并且无法进行重新训练。