由于预训练的深度学习模型大量可用,迁移学习在计算机视觉任务中变得至关重要。然而,从多样化的模型池中为特定的下游任务选择最佳的预训练模型仍然是一个挑战。现有的衡量预训练模型可迁移性的方法依赖于编码静态特征和任务标签之间的统计相关性,但它们忽略了微调过程中底层表示动态的影响,导致结果不可靠,尤其是对于自监督模型。在本文中,我们提出了一种名为 PED 的富有洞察力的物理启发方法来应对这些挑战。我们从势能的视角重新定义模型选择的挑战,并直接模拟影响微调动态的相互作用力。通过捕捉动态表示的运动来降低力驱动物理模型中的势能,我们可以获得增强的、更稳定的观察结果来估计可迁移性。在 10 个下游任务和 12 个自监督模型上的实验结果表明,我们的方法可以无缝集成到现有的排名技术中并提高其性能,揭示了其对模型选择任务的有效性以及理解迁移学习机制的潜力。代码可在 https://github.com/lixiaotong97/PED 上找到。
Aude Nicolas 1.2,*,#, Richard Sherva 3.4,*, Benjamin Grenier-Cando 1,*, Yoontae Kim 5,*, Masataka Kikuchi 6, 4 Jigyasha Timsina 7.8, itziar de Rojas 9.10, María Carolina Dalmasso 11.12, Xiaopu Zhou 13,14.15, Yann, Yann. 5 Guen 16.17,Carlos和Arborada-Buscos 18,Maria Aparecida Camargos Bicalho 19,20.21,MaëlennGuchet 22,6 Sven van der Lee 23.24,Monica Goss 23,Monica Goss 25,Atahualpa Castillo 26 25,29.30, Bernard Fongang 25,31.32, Qiong Yang 29.30, Oliver Peters 33.34, Anja 8 Schneider 35.36, Martin Dechgans 37.38.39, Dan Rujescu 40, Norbert Scherbaum 41, Jürgen Deckert 42, Steffi 9 Riedel-Heller 43, Lucrezia Hausner 44, Laura Molina Porcel 45.46,EmrahDüzel47.48,Timo Grimmer 49,Jens 10 Wiltfang 50.51.52,Stefanie Heilmann-Heimbach 53,Susanne Moebus 54,Thomas Tegos 55,Nikolaos 11 Scarmes 55,Nikolaos 11 Scarmes 56.56.57,Oriol feriol dols-dols-dols-dols-dols-dols-dols-icardodol dols-doll dolsocoto dolls-sic.10。 Moreno 59,10,60,JordiPérez-Tur 61.10,MaríaJ。Buldido 62,10,63.64,12 Pau Pastor 65.66,RaquelSánchez-Valle 67,Victoriaálvarez68.69,68.69,Han Cao 13,Han Cao 13,Nance Y. Y. Y. Y. Y. Y. Y. Y. IP 13,14.14.14.14.14.14.14.14.14.14.14.14 k.y.y。 Pijnenburg 23,Henne Holstege 23.92,John Van Swieten 93,Harro Seelaar 93,Jurgen A.H.R.Aude Nicolas 1.2,*,#, Richard Sherva 3.4,*, Benjamin Grenier-Cando 1,*, Yoontae Kim 5,*, Masataka Kikuchi 6, 4 Jigyasha Timsina 7.8, itziar de Rojas 9.10, María Carolina Dalmasso 11.12, Xiaopu Zhou 13,14.15, Yann, Yann. 5 Guen 16.17,Carlos和Arborada-Buscos 18,Maria Aparecida Camargos Bicalho 19,20.21,MaëlennGuchet 22,6 Sven van der Lee 23.24,Monica Goss 23,Monica Goss 25,Atahualpa Castillo 26 25,29.30, Bernard Fongang 25,31.32, Qiong Yang 29.30, Oliver Peters 33.34, Anja 8 Schneider 35.36, Martin Dechgans 37.38.39, Dan Rujescu 40, Norbert Scherbaum 41, Jürgen Deckert 42, Steffi 9 Riedel-Heller 43, Lucrezia Hausner 44, Laura Molina Porcel 45.46,EmrahDüzel47.48,Timo Grimmer 49,Jens 10 Wiltfang 50.51.52,Stefanie Heilmann-Heimbach 53,Susanne Moebus 54,Thomas Tegos 55,Nikolaos 11 Scarmes 55,Nikolaos 11 Scarmes 56.56.57,Oriol feriol dols-dols-dols-dols-dols-dols-dols-icardodol dols-doll dolsocoto dolls-sic.10。 Moreno 59,10,60,JordiPérez-Tur 61.10,MaríaJ。Buldido 62,10,63.64,12 Pau Pastor 65.66,RaquelSánchez-Valle 67,Victoriaálvarez68.69,68.69,Han Cao 13,Han Cao 13,Nance Y. Y. Y. Y. Y. Y. Y. Y. IP 13,14.14.14.14.14.14.14.14.14.14.14.14 k.y.y。Pijnenburg 23,Henne Holstege 23.92,John Van Swieten 93,Harro Seelaar 93,Jurgen A.H.R.Pijnenburg 23,Henne Holstege 23.92,John Van Swieten 93,Harro Seelaar 93,Jurgen A.H.R.13是13,14.15,Fanny C. F. IP 14,15,Natividad Olivar 70,Carolina Muchnik 70,Carolina Cuesta 71,Lorenzo 14 Campanelli 72,Patricia Solis 73,Patricia Solis 73,Daniel Gustavo Politis 71,Silvia Kochen 73,Silvia Kochen 73,Luis 73,Luis 73,Luisio 70,blusio 70,bluse 70,49 García-González74,Raquel Puerta 74,Pablo Mir 75.10,Luis M Real 76.77.10,GerardPiñol-16 Ripoll- 16 Ripoll-16 Ripoll 78.79,JoseMaríaGarcía-Alberca-Alberca-Alberca 80.10 80.10 83,Sami Heikkinen 84,Alexandre deMendonça85,Shima Mehrabian 86,Latchezar Traykov 87,18 Jakub Hort 88.89,Martin Vyhnuk 88.89,Katrine Laura Laura Laura Raster laura laura rastussen 90.91
无监督的域适应性在将知识从标记的源域转移到未标记的目标域,在时间序列应用中起关键作用。现有的时间序列域适应方法要么忽略频率特征,要么平等地处理时间和频率特征,这使得充分利用这两种功能的优势变得具有挑战性。在本文中,我们深入研究了可传递性和可区分性,这是传递表示学习中的两个至关重要的特性。可以洞悉频率特征在特定域内更具歧视性,而时间特征则在跨域上显示出更好的可传递性。基于发现,我们提出了一个dversarial co-co-co-n n etworks(acon),以通过协作学习方式在三个方面通过协作学习方式来增强可转移的表示:(1)考虑到时代的多个过度差异,提出了多个频率频率特征学习,以增强频率特征的辨别能力; (2)提出了时间域互助学习,以增强源域中时间特征的可区分性,并提高目标域中频率特征的可传递性; (3)域对抗学习是在时间频率特征的相关子空间中进行的,而不是原始特征空间,以进一步增强这两个特征的可传递性。在广泛的时间序列数据集和五个常见范围内进行的广泛实验证明了ACON的最新性能。代码可从https://github.com/mingyangliu1124/acon获得。
摘要。尽管使用机器学习(ML)模型来预测浮球,但尚未探索其用于未示例数据的可传递性。本文开发了一种基于ML的模型,用于在沿海流域的重大事件中最大程度地介绍最大河水深度,并评估其在其他事件(样本外)中的可传递性。该模型考虑了侵入因子的空间分布,这些因素解释了基本的物理过程,从而使最大的河水深度最大。我们的模型评估在美国东北部的六位数水文统一代码(HUC6)中显示,该模型在一个重大漏斗事件中,在116个河流仪表仪上令人满意的最大后播在116个河流仪表中,飓风IDA(r 2 of 0.94 of 0.94)。预先训练的,经过验证的模型已成功转移到其他三个主要的浮动事件,飓风以赛亚,桑迪和艾琳(r 2>0。70)。我们的结果表明,当由相关特征的空间分布,它们的相互作用以及沿海流域的基本物理过程的空间分布告知时,基于ML的模块可以转移最大河水深度。
摘要:区域气候模型(RCM)是模拟和研究区域气候变化和变化的重要工具。但是,它们的高计算成本限制了区域气候预测的全面合奏,涵盖了各个地区的多种情况和驱动全球气候模型(GCM)。RCM模拟器基于深度学习模型最近被引入了一种具有成本效益且有希望的替代方案,仅需要简短的RCM模拟来训练模型。因此,评估其转移性到不同时期,场景和GCMS成为一个关键而复杂的任务,其中GCM和RCMS的固有偏见起着显着的作用。在这里,我们通过考虑文献中引入的两种不同的仿真方法的关注,并在这里分别称为完美预后(PP)和模型输出统计量(MOS),遵循良好建立的降水术语。除了标准评估技术外,我们还通过可解释的人工智能(XAI)的方法扩展了分析,以评估模型学到的经验联系的物理一致性。我们发现,两种方法都能够在不同的时期和场景(软传递性)中模仿RCM的某些气候特性,但是仿真函数的一致性在AP的范围之间有所不同。虽然PP学习了鲁棒且身体上有意义的模式,但MOS结果在某些情况下依赖于GCM,并且在某些情况下缺乏物理一致性。这限制了其适用于构建RCM结束的适用性。由于存在GCM依赖性偏差,将仿真函数转移到其他GCM(硬传递性)时都面临问题。我们通过为未来的申请提供前景来得出结论。
随着视觉变换器 (ViT) 的巨大成就,基于变换器的方法已成为解决各种计算机视觉任务的新范式。然而,最近的研究表明,与卷积神经网络 (CNN) 类似,ViT 仍然容易受到对抗性攻击。为了探索不同结构模型的共同缺陷,研究人员开始分析跨结构对抗性迁移能力,而这方面仍未得到充分研究。因此,在本文中,我们专注于 ViT 攻击,以提高基于变换器和基于卷积的模型之间的跨结构迁移能力。先前的研究未能彻底调查 ViT 模型内部组件对对抗性迁移能力的影响,导致性能较差。为了克服这个缺点,我们开展了一项激励研究,通过线性缩小 ViT 模型内部组件的梯度来分析它们对对抗性迁移能力的影响。基于这项激励研究,我们发现跳跃连接的梯度对迁移能力的影响最大,并相信来自更深块的反向传播梯度可以增强迁移能力。因此,我们提出了虚拟密集连接方法(VDC)。具体来说,在不改变前向传播的情况下,我们首先重构原始网络以添加虚拟密集连接。然后,在生成对抗样本时,我们通过虚拟密集连接反向传播更深层注意力图和多层感知器(MLP)块的梯度。大量实验证实了我们提出的方法优于最先进的基线方法,ViT模型之间的可迁移性提高了8.2%,从ViT到CNN的跨结构可迁移性提高了7.2%。
我们提出了一个新的研究框架,通过该框架可以在实验环境中探索人机协作这一新兴学科,为转移到现实世界做准备。我们通过敏捷方法的视角研究现有文献和未解答的研究问题,以构建我们提出的框架。我们的框架旨在提供一个结构来理解这个研究领域的宏观特征,支持对人机协作对人类团队成员的可接受性以及人工智能团队成员的承受能力进行整体研究。该框架有可能增强人机混合团队的决策能力和绩效。此外,我们的框架提出了敏捷方法在研究管理和知识发现中的应用。我们提出了一种可转移性途径,用于在安全环境中初步测试混合团队,例如实时战略视频游戏,并将经验教训的元素转移到现实世界中。
摘要 — 脑机接口 (BCI) 允许从大脑到外部应用程序直接通信,以自动检测认知过程,例如错误识别。错误相关电位 (ErrPs) 是当一个人犯下或观察到错误事件时引发的一种特殊大脑信号。然而,由于大脑和记录设备的噪声特性,ErrPs 会因各种其他大脑信号、生物噪声和外部噪声的组合而有所不同,这使得 ErrP 的分类成为一个不简单的问题。最近的研究揭示了导致 ErrP 变化的特定认知过程,例如意识、体现和可预测性。在本文中,我们探索了在通过改变给定任务的意识和体现水平而生成的不同 ErrP 变化数据集上进行训练时分类器可迁移性的性能。特别是,我们研究了当由相似和不同的任务引发时观察性和交互性 ErrP 类别之间的转移。我们的实证结果从数据角度对 ErrP 可转移性问题进行了探索性分析。
摘要:冠层燃料特性对于评估林分中的火灾危险和潜在严重程度至关重要。模拟工具为防火规划提供了有用的信息,以减少野火的影响,前提是存在具有足够空间分辨率的可靠燃料图。许多国家正在提供免费的机载 LiDAR 数据,为大规模改善燃料监测提供了机会。在本研究中,我们建立了模型,以估计松林区机载 LiDAR 的冠层基高 (CBH)、燃料负荷 (CFL) 和体积密度 (CBD),其中以不同的脉冲密度获取了四个点云数据集。使用来自 1 p/m 2 数据集的 LiDAR 指标对 CBH、CFL 和 CBD 进行拟合的最佳模型分别得出调整后的 R 2 为 0.88、0.68 和 0.58,RMSE (MAPE) 为 1.85 m (18%)、0.16 kg/m 2 (14%) 和 0.03 kg/m 3 (20%)。拟合模型的可转移性评估表明,根据 LiDAR 脉冲密度(高于和低于校准数据集)和模型公式(线性、幂和指数),精度水平不同。与较低(0.5 p/m 2 )或较高回波密度(4 p/m 2 )相比,指数模型和类似脉冲密度(1.7 p/m 2 )的结果最佳。还观察到冠层燃料属性方面的差异。
预期杂合性(HE)值范围从0.031(Marker MBO56)到0.571(Marker MBO35)。使用这些标记,对遗传多样性的分析(表4)表明,在微卫星基因座检测到的多态性标记数量从8个(togbin and Malanville的地点)到10(Savè,Agoua,Pendjari,Pendjari,Pingou和TroisRivières),并具有9±0.865的范围。除了Savè,Hounviatouin和Malanville之外,在大多数采样位置都观察到目标微卫星基因座的1至3个私人等位基因。关于遗传参数,有效等位基因(NE)的数量范围为1.447至2.069,平均数为1.761。从0.263(Hounviatouin)到0.451(SAVè),平均值为0.354,而观察到的杂合性(HO)的平均值为0.234(togbin)到0.405(pingou),平均值为0.335。 固定指数(F)的负值为从0.263(Hounviatouin)到0.451(SAVè),平均值为0.354,而观察到的杂合性(HO)的平均值为0.234(togbin)到0.405(pingou),平均值为0.335。固定指数(F)的负值为