尽管隐式神经表征 (INR) 近期取得了进展,但对于基于坐标的 INR 多层感知器 (MLP) 来说,学习跨数据实例的通用表征并将其推广至未见实例仍然具有挑战性。在这项工作中,我们为可推广的 INR 引入了一个简单而有效的框架,该框架使基于坐标的 MLP 能够通过仅调节早期 MLP 层中的一小组权重作为实例模式组合器来表示复杂数据实例;其余 MLP 权重学习跨实例通用表示的模式组合规则。我们的可推广 INR 框架与现有的元学习和超网络完全兼容,可用于学习预测未见实例的调节权重。大量实验表明,我们的方法在音频、图像和 3D 对象等广泛领域都实现了高性能,而消融研究验证了我们的权重调节。
摘要 — 由于脑电图 (EEG) 的受试者间/受试者内变异性,脑机接口 (BCI) 在实践中难以使用。通常,BCI 系统需要一种校准技术来获取受试者/会话特定数据,以便在每次使用系统时调整模型。这个问题被认为是 BCI 的一个主要障碍,最近出现了一种基于领域泛化的新策略来解决它。鉴于此,我们专注于开发一个 EEG 分类框架,该框架可以直接应用于来自未知域(即受试者)的数据,仅使用先前从不同受试者获得的数据。为此,在本文中,我们提出了一个框架,该框架采用开放集识别技术作为辅助任务,从源数据集中学习特定于主题的风格特征,同时帮助共享特征提取器将看不见的目标数据集的特征映射为新的看不见的域。我们的目标是在同一域中施加跨实例样式不变性,并降低潜在未见主体的开放空间风险,以提高共享特征提取器的泛化能力。我们的实验表明,使用域信息作为辅助网络可以提高泛化性能。临床相关性——本研究提出了一种提高独立于主体的 BCI 系统性能的策略。我们的框架可以帮助减少进一步校准的需要,并可用于一系列心理状态监测任务(例如神经反馈、癫痫发作的识别和睡眠障碍)。
我的主要研究兴趣是具有可证明的保证的机器学习鲁棒性。深度神经网络和其他机器学习模型在输入的较小变化下是出现故障的。这种弱点在现实情况下部署此类模型构成了严重的风险,尤其是对于安全至关重要的应用,例如自动驾驶和医疗诊断。不稳定的行为会导致对机器学习模型的信任,从而阻碍了他们在社会中的收养。虽然已经开发出几种经验方法来捍卫模型免受投入腐败的影响,但它们通常会反对看不见的扰动,因此很难确定模型的真正鲁棒性。我的研究旨在设计具有鲁棒性(也称为鲁棒性证书)的可证明保证的方法。与经验防御不同,经过认证的方法可以对一组扰动和看不见的扰动产生数学描述,为此保证模型可靠。
变形金刚可以学会在以前看不见的输入/输出域中可靠地执行算法麦克风任务吗?虽然预先训练的语言模型在结合算法推理的基准标记上显示出稳定的准确性,因此,这些结果的可靠性必须具有清除记忆中清洁模型功能功能的能力。在本文中,我们提出了一个算法基准,该基准构成了无限输入域的六个任务,在该域中,我们还可以分离并追踪任务所需的正确,可靠的算法。这使我们能够评估(i)模型的外推能力,以外地观察到的输入类型,包括新的长度,价值范围或输入域,以及(ii)通过其注意图的镜头评估最近模型中功能机制的鲁棒性。我们将公开可用的所有任务和互操作性方法提出。1
拉动开放式橱柜和抽屉在感知中提出了许多困难的技术挑战(从车载传感器中推断物体的发电参数),计划(制定符合紧密任务约束的运动计划)和控制(在环境上施加力时进行控制和维护接触))。在这项工作中,我们构建了一个端到端系统,该系统使商品机械手操纵器(Stretch Re2)能够在以前看不见的现实世界环境中拉出开放式橱柜和抽屉。我们对该系统进行了4天的现实世界测试,这些系统涵盖了来自13个不同现实世界环境的31种不同对象。我们的系统在未看到的环境中开放新颖的机柜和抽屉的成功率为61%。对故障模式的分析表明,感知错误是我们系统最重大的挑战。我们将开放源代码和模型,供其他人复制并在我们的系统上构建。
背景:已提出合成计算机断层扫描(SCT),并越来越多地采用以实现基于磁共振成像(MRI)的放射疗法。深度学习(DL)最近证明了从固定MRI采集中生成准确的SCT的能力。但是,由于模型概括不良,MRI方案可能会随着时间的推移而随着时间的流逝而变化或不同。目的:研究域随机化(DR)以增加脑SCT生成DL模型的概括。方法:收集了95例接受RT患者的CT和相应的T 1加权MRI,带有 /无对比度,T 2加权和FLAIR MRI,考虑到可以研究概括的未见序列的能力。“基线”生成对抗网络进行了 /没有天赋序列的训练,以测试模型在没有DR的情况下的性能。基于SCT的剂量计划的图像相似性和准确性对CT进行了评估,以选择针对基线的表现最佳的DR方法。结果:基线模型在FLAIR上的性能最差,平均绝对误差(MAE)= 106±20.7 HU(平均值±σ)。在MAE = 99.0±14.9 HU的DR模型中,Flair上的性能显着提高,但仍然不如基线 + Flair模型的性能(MAE = 72.6±10.1 HU)。同样,对于DR VS基线,获得了γ速率的提高。结论:DR提高了仅在获得的MRI上训练的未见序列上的图像相似性和剂量准确性。DR使模型更加稳健,从而减少了在未见序列上应用模型时重新训练的需求,并且无法进行重新训练。
现有的人类对象互动(HOI)检测方法已经引入了零拍的学习技术来认可看不见的相互作用,但是它们在理解上下文信息和全面的重新构成方面仍然存在局限性。为了克服这些局限性,我们提出了一个新型的HOI学习框架ContexThoi,它是一种效率的上下文HOI探测器,以增强上下文的理解和零拍的推理能力。所提出的contexthoi的主要贡献是一种新颖的上下文挖掘解码器和强大的互动推理大语言模型(LLM)。上下文挖掘解码器旨在从预先训练的视觉模型中提取语言上下文信息。基于提取的上下文信息,提出的相互作用推理LLM通过利用丰富的语言知识进一步增强了零拍的推理能力。广泛的评估表明,我们所提出的框架在HICO-DET和SWIG-HOI数据集上优于现有的零射击方法,在未看到交互的情况下高达19.34%的映射。
生成可设计的蛋白质骨架已成为机器学习辅助方法的组成部分。与序列设计和结构预测器的过滤一起,它形成了计算蛋白设计管道的骨干。然而,当前的蛋白质结构发生器面临着大蛋白的重要局限性,需要在模型训练期间看不见的蛋白质设计任务进行再培训。为了解决第一个问题,我们介绍了Salad,这是一个蛋白质骨架产生的S-Al l- A tom a tom denoising模型。我们的模型在匹配或提高可设计性和多样性的同时,我们的模型要比最先进的速度要快,并为高达1,000个氨基酸的蛋白质长度生成可设计的结构。为了解决第二个问题,我们将沙拉与结构编辑相结合,这是扩展蛋白质denoising模型无法看见任务的能力的策略。我们将方法应用于各种蛋白质设计任务,从基序旧到多态蛋白质设计,证明了沙拉和结构编辑的功能。
近年来,世界经历了高度动荡的时期,可以说 2022 年延续了这一趋势。乌克兰战争、能源价格飙升和前所未有的通货膨胀水平,再加上新冠疫情的后果,导致了全球供应链问题和劳动力市场的挑战。因此,2022 年的商业环境极具挑战性。
摘要。类别 - 不足的姿势估计(CAPE)旨在根据该类别的几个提供的示例来检测图像中任意看不见类别的关键。这是一项具有挑战性的任务,因为看不见的类别的有限数据使模型很难有效地进行大规模化。为了应对这一挑战,以前的方法通常会在一组带有广泛宣传的预定义的基本类别上训练模型。在这项工作中,我们建议利用货架文本对图像扩散模型的丰富知识,以有效地解决斗篷,而无需对精心准备的基础类别进行培训。为此,我们提出了一个提示姿势匹配(PPM)框架,该框架通过文本到图像扩散模型学习了伪提示,该伪提示与所提供的几个示例中的关键点相对应。这些学到的伪提示捕获了关键点的杂志信息,然后可以将其用于从图像中找到相同类型的关键点。我们还设计了一个类别共享的及时培训(CPT)方案,以进一步提高我们的PPM的表现。广泛的实验证明了我们方法的功效。