神经科学中的许多问题都涉及对大量神经元反应的理解。然而,当处理大规模神经活动时,解释变得困难,并且在两种动物之间或不同时间点之间的比较变得具有挑战性。我们在现代神经科学中面临的一个主要挑战是对应性,例如,我们不会在完全相同的时间记录完全相同的神经元。如果没有某种方法将两个或多个数据集联系起来,那么比较不同的神经活动模式集合就变得不可能。在这里,我们描述了利用神经记录中共享的潜在结构来解决这一对应性挑战的方法。我们回顾了将两个数据集映射到可直接比较的共享空间的算法,并认为对齐是比较跨时间、神经元子集和个体的高维神经活动的关键。
强化学习(RL)范式解决了这些类型的问题,其中代理通过接收观察和潜在的奖励与环境互动,并以其政策指导的行动做出回应。rl框架可以根据其建模假设和模拟环境的可访问性进行分类。基于模型的RL可实现对环境的明确建模,利用专家知识或从经验中学习。博学的世界模型取得了巨大的成功,主要是因为它们创建了简化的状态表示形式,与稀疏和非微分奖励相比产生了更多的训练信号,并促进了学习模型的潜在空间中的互动,绕开了对计算要求和潜在不现实的不现实的专家模拟器的需求。
摘要 - 对象很少在日常的人类环境中孤立地坐着。如果我们希望机器人在人类环境中操作和执行任务,他们必须了解他们操纵的对象将如何与最简单的任务相互作用。因此,我们希望我们的机器人推理多个对象和环境元素如何相互关系,以及这些关系在机器人与世界互动时可能会发生变化。我们研究了以前看不见的对象和新颖的环境之间纯粹来自部分视图点云之间预测目标间和对象环境关系的问题。我们的方法使机器人能够计划和执行序列,以完成由逻辑关系定义的多对象操纵任务。这消除了提供明确的,连续的对象作为机器人目标的负担。我们为此任务探索了几种不同的神经网络体系结构。我们发现最佳性能模型是一个基于新颖的变压器神经网络,既可以预测对象环境关系,又可以学习潜在空间动力学功能。我们实现了可靠的SIM转移传输,而无需进行任何微调。我们的实验表明,我们的模型了解观察到的环境几何形状的变化如何与对象之间的语义关系有关。我们在网站上显示更多视频:https://sites.google.com/view/erelationaldynamics。
摘要。超声视频分类可以实现自动诊断,并成为重要的研究领域。但是,公开可用的超声视频数据集仍然稀缺,阻碍了开发有效的视频分类模型的进展。我们通过从可读取的丰富超声图像中合成合理的超声视频来解决这种短缺。为此,我们引入了一个潜在的动态扩散模型(LDDM),以有效地将静态图像转换为具有现实视频特征的动态序列。我们在BUSV基准上展示了强大的定量结果和视觉吸引力的合成视频。值得注意的是,关于真实和LDDM合成视频的组合的培训视频分类模型大大改善了单独使用真实数据的性能,这表明我们的方法成功地模拟了对歧视至关重要的动态。我们的图像到视频方法提供了有效的数据增强解决方案,以推进超声视频分析。代码可在https://github.com/medaitech/u_i2v上找到。
基于深度学习的图像生成方法已被广泛用于克服数据不足。在医疗领域也是如此,数据短缺问题经常发生。在本研究中,我们提出了多模态脑肿瘤磁共振成像(MRI)生成框架,称为解缠结潜在扩散模型(DLDM),以解决医学成像中的数据不足问题。我们训练一个自动编码器,将多模态 MRI 图像的特征解缠结为模态共享和模态特定表示。通过利用从自动编码器学到的特征解缠结,我们能够训练一个可以生成模态共享和模态特定潜在向量的扩散模型。我们用 clean-FID 和改进的准确率和召回率评估了我们的方法。将结果与基于 GAN 的模型 StyleGAN2 进行了比较。关键词:生成、多模态、MRI、特征解缠结、扩散模型。
手稿版本:作者接受的手稿包装中呈现的版本是作者接受的手稿,可能与已发布的版本或记录的版本有所不同。持续的包裹网址:http://wrap.warwick.ac.uk/182876如何引用:有关最新的书目引用信息,请参阅发布版本。如果已知已发布的版本,则链接到上面的存储库项目页面将包含有关访问它的详细信息。版权所有和重复使用:沃里克研究档案门户(WARAP)使沃里克大学的研究人员在以下条件下可用开放访问权限。版权所有©以及此处介绍的论文版本的所有道德权利属于单个作者和/或其他版权所有者。在合理且可行的范围内,已在可用的情况下检查了包装中可用的材料是否有资格。未经事先许可或收费,可以将完整项目的副本用于个人研究或研究,教育或非营利目的。前提是作者,标题和完整的书目细节被认为是针对原始元数据页面提供的超链接和/或URL,并且内容不会以任何方式更改。发布者的声明:请参阅“存储库”页面,发布者的语句部分,以获取更多信息。有关更多信息,请通过以下网络与WARP团队联系:wrap@warwick.ac.uk。
1 波尔多大学,CNRS,I2M 波尔多,B – timement A11,351 解放路,CEDEX,33405 塔朗斯,法国; clemailhe@gmail.com 2 替代能源合作研究中心(CICenergiGUNE)、巴斯克研究与技术联盟(BRTA)、阿拉瓦科技园区,01510 Vitoria-Gasteiz,西班牙; sdoppiu@cicenergigune.com (SD); jldauvergne@cicenergigune.com (J.-LD); ssantos@cicenergigune.com (SS-M.); epalomo@cicenergigune.com (EPdB) 3 TECNALIA,巴斯克研究与技术联盟 (BRTA),圣塞瓦斯蒂安科技园区,20009 Donostia-San Sebastián,西班牙 4 应用物理学 II,巴斯克大学 UPV-EHU,48940 Leioa,西班牙 5 Amplitude,11 Avenue de Canteranne,Cité de la Photonique,Bâtiment MEROPA,33600 Pessac,法国; alexandre.godin@amplitude-laser.com 6 波尔多大学,CNRS,波尔多 INP,LCPO—UMR5629,16 Avenue Pey Berland,CEDEX,33607 Pessac,法国; guillaume.fleury@u-bordeaux.fr 7 智利天主教大学工程学院建筑学院,Av. Libertador Bernardo O'Higgins 340,圣地亚哥 8331150,智利; frouault@uc.cl 8 Ikerbasque,巴斯克科学基金会,48013 毕尔巴鄂,西班牙 * 通讯地址:marie.duquesne@enscbp.fr
1 ESTSet ú bal,CINEA,塞特乌巴尔理工学院 (IPS),2910-761 Set ú bal,葡萄牙;luis.coelho@estsetubal.ips.pt (LC);amandio.rebola@estsetubal.ips.pt (AR) 2 能源与环境研究实验室,综合(核心)部,雅典国立和卡波迪斯特里安大学,Psachna 校区,34400 Evia,希腊;geodogas@mail.ntua.gr (GD);yiannis.konstantaras@gmail.com (JK);mgrvrachop@uoa.gr (MGV) 3 可再生能源和节约中心 (CRES),Marathonos 19th Km,19009 Pikermi,希腊;abenou@cres.gr (AB);jchoro@cres.gr (JC); kkari@cres.gr (CK) 4 电力系统技术与电力机电一体化研究所,鲁尔大学,44801 波鸿,德国;Sourkounis@enesys.ruhr-uni-bochum.de 5 Z&X 机械安装有限公司 12 Agapinoros Str,帕福斯 8049,塞浦路斯;zinon@zandxgroup.com * 通讯地址:mkoukou@uoa.gr
变异自动编码器(VAE)[19,41]是一个人口,深,潜伏的模型(DLVM),这是由于其简单而有效的数据用于建模数据分布。优化VAE目标函数比其他DLVM更易于管理。VAE的瓶颈维度是一个至关重要的设计选择,并且对模型的性能具有很强的冲突,例如使用VAE学到的代表来找到数据集的隐藏解释因素。但是,VAE的潜在维度的大小通常被视为通过反复试验和误差经验估计的高参数。为此,我们提出了一个统计公式,以发现建模数据集所需的潜在因素。在这项工作中,我们在潜在空间中使用层次先验,使用编码数据估算潜在轴的方差,该数据标识了相关的潜在维度。为此,我们用层次的先验代替了VAE客观功能中的固定先验,使剩余的配方保持不变。我们将所提出的方法称为变异自动编码器(ARD-VAE)1中的自动相关性检测。我们证明了ARD-VAE在多个基准数据集中找到相关的LATENT尺寸及其对不同评估的效果(例如FID得分和分离分析分析)的疗效。
摘要 - 在多视图环境中,由于观察过程的限制,它将产生缺失的观察结果。最新的表示学习方法难以通过简单地填充缺少的视图数据或通过推断现有观点中的一致表示来固定来探索完整信息。为了解决这个问题,我们提出了一个深层生成模型,以学习完整的生成潜在表示,即完整的多视图变化自动编码器(CMVAE),该模型由由高斯分布的混合物表示的完整潜伏变量产生多个视图的生成。因此,缺失的视图可以完全以潜在变量为特征,并通过估计其后验分布来解决。因此,引入了一种新颖的变分下限,以将视图不变信息整合到后推理中,以增强学习潜在的表示的凝固性。挖掘了视图之间的固有相关性,以寻求跨视图的通用性,而导致视图丢失的信息则通过视图权重达到坚固性来融合。基准实验结果在聚类,分类和跨视图图像生成任务中证明了CMVAE的优势,而时间的复杂性和参数灵敏度分析则说明了效率和鲁棒性。此外,应用于生物启发性数据的应用例证其实际意义。
