摘要:随着沉浸式计算设备的出现,自我中心感知迅速发展。人类注视预测是分析自我中心视频的一个重要问题,主要通过基于显着性的建模或高度监督的学习来解决。我们定量分析了监督深度学习模型在看不见的域外数据的自我中心注视预测任务中的泛化能力。我们发现它们的性能高度依赖于训练数据,并且仅限于训练注释中指定的域。在这项工作中,我们解决了在不使用任何训练数据的情况下联合预测人类注视点和自我中心视频时间分割的问题。我们引入了一个无监督的计算模型,该模型汲取了事件感知的认知心理学模型的灵感。我们使用 Grenander 的模式理论形式来表示时空特征,并将惊讶建模为预测注视点的机制。对两个公开数据集(GTEA 和 GTEA+ 数据集)的广泛评估表明,所提出的模型可以显著超越所有无监督基线和一些监督凝视预测基线。最后,我们表明该模型还可以对以自我为中心的视频进行时间分割,其性能可与更复杂、完全监督的深度学习基线相媲美。
X射线照相成像方案集中在特定的身体区域上,因此产生了相似性的图像并产生跨染料的复发性解剖结构。为了利用这些结构化信息,我们建议使用空间感知的记忆队列在射线照相图像(缩写为squid)中进行镶嵌和检测异常。我们表明,鱿鱼可以将无网状的解剖结构分类为复发模式。在推论中,它可以识别图像中的异常(未见/修改模式)。squid在无监督的异常检测中超过了13种最先进的方法,在两个胸部X射线基准数据集中至少在曲线下测量的两个胸部X射线基准数据集(AUC)。此外,我们还制定了一个新的数据集(数字解剖),该数据集综合了胸部解剖结构的空间相关性和一致的形状。我们希望数字解剖学能够促使异常检测方法的开发,评估和解释性。
1 图 1b 中的测试动物是一只山羊。虽然大多数非专家会根据不可靠的特征(例如毛量)来预测绵羊/山羊,但区分它们的最简单方法是看它们的尾巴:山羊的尾巴向上,而绵羊的尾巴不能抬起。
深度神经网络的最新进展成功地改善了各种学习问题[40,8,26,19,20]。但是,对于监督学习,大量的训练数据仍然是学习准确的深层模型的关键。尽管可能可用于一些预先规定的域,例如ImageNet [7],但对于每个临时目标域或任务而言,手动标签通常很难或昂贵。缺少IN-ININAIN标记的数据阻碍了在许多实际问题中拟合模型的应用。在没有来自目标域的标记数据的情况下,已经出现了无监督的域适应(UDA)方法,以减轻数据分布的域移动[2,1,1,5,37,30,18,3,3,17]。它与无监督的学习有关,因为它仅需要从源域和目标域的零标签手动标签。在最近关于UDA的工作,这是Long等人提出的开创性工作。[22,25]旨在最大程度地减少深神经网络中源和目标域之间的差异,在此,在该网络中,域差异通过最大值
学习表征捕获对世界的非常基本的理解是机器学习的关键挑战。隐藏在数据中的解释因素的层次结构是如此一般的表示,并且可以通过分层VAE实现。然而,培训层次的VAE总是遭受“后塌陷”的苦难,其中数据信息很难传播到更高级别的潜在变量,因此导致层次结构不良。为了解决这个问题,我们首先是从信息理论的角度来减轻后层崩溃的现有方法的缺点,然后突出了正规化的必要性,即在维持不同级别之间的依赖性的同时,将数据信息明确传播到高级潜在变量。这自然会导致提出高级潜在表示作为顺序决策过程的推断,这可能受益于应用强化学习(RL)。将RL的目标与正规化的目标保持一致,我们首先引入了一条跳过的途径,以获取奖励,以评估潜在的潜在表示的信息内容,然后基于它的Q-VALUE函数可能具有正规化的一致优化方向。最后,策略梯度是典型的RL方法之一,用于训练层次VAE,而无需引入梯度估计器。1。简介实验结果坚定地支持我们的分析,并证明我们提出的方法有效地减轻了后塌陷问题,学习了信息的层次结构,获得了可解释的潜在表示,并且在下游任务中明显优于其他基于层次的VAE方法。
最近,基于条件分数的扩散模型在监督语音增强领域引起了人们的关注,从而产生了最新的性能。但是,这些方法在普遍到看不见的条件时可能会面临挑战。为了解决这个问题,我们引入了一种以无监督方式运行的替代方法,利用了扩散模型的生成力量。具体来说,在训练阶段,使用基于得分的扩散模型在短期傅立叶变换(STFT)域中学习了清晰的语音,从而使其无条件地从高斯噪声中产生干净的语音。然后,我们通过与语音信号推理的噪声模型相结合,开发了一种后验采样方法来增强语音的增强。通过迭代期望最大化(EM)方法同时学习噪声参数以及干净的语音估计。据我们所知,这是探索基于扩散的生成模型的第一部作品,用于无监督语音增强,与最近的变异自动编码器(VAE)基于无监督的方法和一种最先进的基于扩散的基于扩散的超级访问方法相比,这表明了有希望的恢复。因此,它在无监督的语音增强中为未来的研究打开了一个新的方向。
Gregor Kasieczka教授电子邮件:Gregor.kasieczka@uni-hamburg.de Twitter/X:@Gregorkorkasieczka ML在Hep Workshop,Kek,10.1.2024Gregor Kasieczka教授电子邮件:Gregor.kasieczka@uni-hamburg.de Twitter/X:@Gregorkorkasieczka ML在Hep Workshop,Kek,10.1.2024
机器学习中的抽象未知未知数表示已知数据分布之外的数据点,并构成了传统机器学习模型的盲点。由于这些数据点通常涉及罕见和意外情况,因此模型可能会做出错误的预测,并可能导致灾难性情况。检测“未知未知数”对于确保机器学习系统的可靠性和鲁棒性并避免在现实安全至关重要的关键应用中出现意外失败至关重要。本文提出了使用主动学习数据选择机制依靠不确定性和多样性的主动学习数据选择机制来检测主动学习(U3DAL)中的无监督未知检测(U3DAL)。在Imagenet-A数据集和不同指标上验证了所提出的方法的有效性,这表明它表现出胜过检测“未知未知数”的现有方法。
经颅超声疗法越来越多地用于非侵入性脑疾病治疗。然而,常规数值波求机的计算量过于昂贵,无法在治疗过程中在线使用,以预测经过头骨的声学字段(例如,考虑主题特定的剂量和靶向变化)。作为实时预测的一步,在当前工作中,使用完全学习的优化器开发了2D中异质Helmholtz方程的快速迭代求解器。轻型网络体系结构基于一个修改的UNET,其中包括一个学识渊博的隐藏状态。使用基于物理的损失功能和一组理想化的音速分布对网络进行训练(完全无监督的训练(不需要真正的解决方案)。学习的优化器在测试集上表现出了出色的性能,并且能够在训练示例之外良好地概括,包括到更大的计算域,以及更复杂的源和声速分布,例如,从X射线计算的颅骨图像中得出的那些。
病理脑外观可能是如此异质,以至于仅作为异常而言可以理解,这是由于它们偏离正常性而不是任何特定的病理特征而定义的。在医学成像中最艰巨的任务中,检测这种异常需要正常大脑的模型,将紧凑性与复杂的,远程相互作用的表达性结合在一起,以表征其结构组织。这些要求是变形金刚比其他候选候选体系结构具有更大的满足潜力,但是它们对数据和计算资源的要求抑制了它们的应用。在这里,我们将矢量定量的变异自动编码器的潜在表示与自动回应变压器的集合结合在一起,以在相对适度的数据制度内以低计算成本以低计算成本实现的健康脑成像数据来偏离健康的脑成像数据,从而实现无监督的异常检测和分割定义。我们将我们的方法与涉及合成和实际病理病变的一系列实验中的当前最新方法进行了比较。在实际病变上,我们对来自英国生物库的15,000名放射线正常参与者进行训练,并评估四个不同的脑MR数据集,患有小血管疾病,脱髓鞘病变和肿瘤。我们在图像和像素方面都表现出了出色的异常检测性能,而无需后处理就可以实现。这些结果引起了对变压器在这项最具挑战性的成像任务中潜力的关注。关键字:变压器,无监督的异常分割,异常检测,neu-Roimaging,vector量化变异自动编码器