最深层生成建模中的最新技术具有利用马尔可夫生成过程,以更结构化和灵活的方式学习复杂的高维概率分布[17]。通过将马尔可夫链方法与深层神经体系结构整合在一起,这些方法旨在利用深网的代表力,同时维持可聊天且理论上扎根的训练程序。与早期生成模型相反,这些模型在很大程度上依赖于直接的最大似然估计或对抗性目标,此类方法采用了迭代的随机变换(通常以马尔可夫的更新表示)来逐渐将初始噪声样本逐渐从所需的目标分布中绘制出来。di效率和流量匹配模型代表了两种突出的生成方法类别,这些方法通过一系列连续转换来结构数据样本。di效率模型[6,13]引入了一个向前的和反向降级过程,通过学习在每个步骤中撤消增量的噪声损坏,将简单的噪声分布逐渐将简单的噪声分布重新定位到复杂的目标分布中。流量匹配模型[10,11,12]直接学习连续的时间变换,这些转换将基本分布转换为规定的流量字段下的目标分布。两个家庭都从良好的可能性和稳定的培训目标中受益,从而使理论上的见解更清晰,样本质量提高了,并且通常比以前的方法(例如gans)更可靠[3,5]。生成器匹配[7]是一个框架,可以在artrary状态空间上使用Markov进程来构建生成性建模。此框架允许以两种方式组合不同的马尔可夫进程:马尔可夫叠加和通过组合单峰发生器创建多模式生成模型。在这项工作中,我们旨在利用生成器匹配框架提供详细的理论比较,并将其匹配模型和流量匹配模型进行详细的理论比较。我们表明,我们的目的是提供生成器匹配的概述,如何连接到分解和流量匹配模型以及某些Markov生成过程的特定属性如何使它们比其他过程更强大。
最近已经提出了动机的强大生成模型,但这些方法中很少有支持柔性蛋白质配体对接和亲和力估计。没有人可以直接对多种结合配体进行同时建模,也可以根据药理学相关的药物靶标进行严格的标准,从而阻碍了它们在药物发现工作中的广泛采用。 导致这项工作,我们提出了FlowDock,这是一种基于条件流量匹配的深几何生成模型,该模型学会了将其直接映射到其绑定的(Holo)对应物中,以将其映射到任意数量的结合配体中。 此外,Flowdock与其每种生成的蛋白质配体复杂结构中提供了预测的结构置信度评分和结合亲和力值,从而实现了新(多配体)药物目标的快速虚拟筛选。 对于常用的PoseBusters基准数据集,Flotdock使用Unbound(APO)蛋白质输入结构实现了51%的盲区对接成功率,而没有任何来自多个序列比对的信息,并且对于具有挑战性的新Dockgen-E数据集,FlotDock与单次序列Chai-1的性能相匹配。 此外,在第16个社区范围内的结构预测技术批判性评估(CASP16)的配体类别中,Flowdock在140种蛋白质配体复合物中的药理学结合亲和力估计的前5位方法中排名,证明了其在虚拟筛选中的学位表达的功效。没有人可以直接对多种结合配体进行同时建模,也可以根据药理学相关的药物靶标进行严格的标准,从而阻碍了它们在药物发现工作中的广泛采用。导致这项工作,我们提出了FlowDock,这是一种基于条件流量匹配的深几何生成模型,该模型学会了将其直接映射到其绑定的(Holo)对应物中,以将其映射到任意数量的结合配体中。此外,Flowdock与其每种生成的蛋白质配体复杂结构中提供了预测的结构置信度评分和结合亲和力值,从而实现了新(多配体)药物目标的快速虚拟筛选。对于常用的PoseBusters基准数据集,Flotdock使用Unbound(APO)蛋白质输入结构实现了51%的盲区对接成功率,而没有任何来自多个序列比对的信息,并且对于具有挑战性的新Dockgen-E数据集,FlotDock与单次序列Chai-1的性能相匹配。此外,在第16个社区范围内的结构预测技术批判性评估(CASP16)的配体类别中,Flowdock在140种蛋白质配体复合物中的药理学结合亲和力估计的前5位方法中排名,证明了其在虚拟筛选中的学位表达的功效。可用性和实现源代码,数据和预训练的模型可在https://github.com/ bioinfaramefaraminelearning/flowdock上找到。
产生新分子结构的深层生成模型具有促进化学发现的潜力。流量匹配是一个最近提出的生成建模框架,在包括生物分子结构(包括生物分子结构)的各种任务上取得了令人印象深刻的性能。开创性流量匹配框架仅针对连续数据开发。但是,从头分子设计任务需要生成离散数据,例如原子元素或氨基酸残基的序列。最近已经提出了几种离散的流匹配方法来解决此差距。在这项工作中,我们基准了3D从头生成的现有离散流匹配方法的性能,并提供了其不同行为的解释。因此,我们提出了FlowMol-CTMC,这是一种开源模型,可实现3D从头设计的最新性能,其可学习参数比现有方法少。此外,我们提出的指标使用捕获分子质量以外的局部化学价值约束并符合高阶结构基序。这些指标表明,即使满足了基本约束,模型也倾向于在培训数据分布之外产生异常且潜在的有问题的功能组。可用于重现此工作的代码和训练有素的模型,请访问https://github.com/dunni3/flowmol。
在这项工作中,我们提出了IGFlow,这是抗体结构从头设计的SE(3)流量匹配模型。我们专注于生成抗体的新型可变结构域区域,并评估模型在1)无条件重链和轻链生成以及2)互补性确定区域(CDRS)的框架条件循环设计。我们的结果表明,IgFlow生成的抗体在结构上与自然观察到的抗体相似。我们将我们的方法与IGDIFF进行了比较,IGDIFF是一种无条件变量域生成的SE(3) - 扩散模型,在可设计性上。此外,我们在抗体设计中通常遇到的两个有条件的CDR介入任务上对IGFLOW和IGDIFF进行了基准测试。我们发现,Igdiff和Igflow在无条件设计抗体时都表现出色,并且IGFlow有条件地设计具有比IGDIFF更高自符合性的完整CDR循环。总体而言,我们的方法为抗体生成提供了另一种方法,具有其他计算益处,包括样本数据效率和推理速度。
科学背景。目前正在绕地球从地球表面获取图像。由空间机构和政府运营的卫星星座,可以对所有土地表面和海洋进行全球监测。尽管这些非商业卫星提供了开放式和免费图像,但它们的空间决议通常受到限制,最多约为10米。尽管这些空间分辨率在各种应用中足够,但对于需要检测到诸如建筑物,树篱或动物等细节细节的特定应用程序,它们可能是有限的因素。可以人为地增强图像空间分辨率的可能解决方案是超分辨率(SR)。该技术可以被构架为一个倒数的问题,包括学习降解函数的倒数,可以应用于低空间分辨率(LR)图像以估计高空间分辨率(HR)图像。在该领域的最后十年中,学习策略的发展,尤其是深度学习,以学习降解功能,从而提高了这一领域的研究。最近,一种生成方法的扩散模型已实现了超分辨率的重大进展,尤其是在感知可视化方面[6]。在遥感的背景下,超级分辨率也因生成模型的最新进展[9](包括扩散模型)的最新进展增强了,并使用了两个主要的并发设置,用于学习降级功能。第一个是使用通过对HR图像降采样的卫星图像的合成对训练模型的。在推断时,通常将训练的模型应用于HR图像,以估算一个非常高的空间分辨率(VHR)图像或另一个传感器捕获的真实LR图像。在这两种情况下,它都会由于数据分布在将模型应用于另一个空间分辨率或通过传感器特性的变化引起的比色变化而产生域间隙。为了克服该域间隙,第二个解决方案包括采用跨传感器设置,在该设置中,来自不同传感器的真实图像对训练超分辨率模型。这种现实的场景在训练过程中引起了额外的挑战,因为可能无法正确地共同注册图像,通过具有不同光谱特征的传感器捕获,并且在不同的时间,在观察值中造成了变化[5]。文献中没有共识,进一步的工作应该使使用超分辨率技术获得现实的HR
•对两个图像中的相应像素的搜索如果进行了校准,则两个图像的搜索变得容易一些 - 这意味着,如果两个图像中的同一行中存在一对相应的像素。您从我的讲座24中知道,对于任何给定的像素(i,j)∈I,在另一个图像中必须在另一个图像中对其相应的像素进行搜索。,正如我在第24堂课中所解释的那样,
无监督的可见红外人员重新识别(USL-VI-REID)旨在匹配来自不同方式的同一身份的行人图像,而无需注释。现有作品主要集中于通过对齐未标记的样本的实例级特征来减轻模式差距。但是,跨模式簇之间的关系尚未得到很好的探索。为此,我们提出了一个新型的双边群集匹配的学习框架,以通过匹配的跨模式簇来弥补模态差距。特定的是,我们通过优化两部分图中的最大匹配问题来设计多到多的双边跨模式群匹配(MBCCM)算法。然后,匹配的成对簇在模型训练过程中利用共享的可见和红外伪标签。在这样的监督信号下,提出了一种特异性和模态性和情态的(MSMA)对比度学习框架 - 提议在集群级别上共同对齐特征。平均值,提出了交叉模式一致性约束(CC),以明确减少较大的模态差异。对公共SYSU-MM01和REGDB数据集进行了广泛的实验,证明了该方法的有效性,平均超过8.76%的地图超过了最先进的方法。
从使用卷积网络的传统行为克隆[1]到基于变压器的学习结构[2],广泛的研究已经对视觉场景的机器人动作轨迹进行了建模。最新的作品基于扩散模型[3]的成功,以生成运动轨迹以捕获多模式动作分布。流匹配是另一种新颖的生成方法。与随机的扩散概率模型共享理论相似性,流匹配旨在回归确定性矢量场,以将样品流向目标分布。证明,与解决扩散模型中的复杂随机微分方程相比,流动匹配目标的简单性可以在稳定的训练和发电质量中表现出色。尽管在图像生成方面取得了最新进展[4],但在机器人域中的流量匹配的应用仍未得到充满反感[5,6,7]。我们提出了流程匹配策略,以从原始视觉输入中学习模拟和现实世界的机器人行为并进行系统评估。
我们将流匹配作为变异推理的公式,我们称为变异流匹配(VFM)。基于此公式,我们开发了Catflow,这是一种用于分类数据的流匹配方法。catflow易于实现,计算上有效,并且在图生成任务上取得了强大的结果。VFM中的关键观察是,我们可以根据后概率路径的变异近似来对流的矢量场进行参数化,这是轨迹的可能端点上的分布。我们表明,这种变分的解释既可以接受catflow目标,又将原始流量匹配目标作为特殊情况。我们还将VFM与基于分数的模型相关联,其中动力学是随机的而不是确定性的,并基于重新持续的VFM目标,在模型可能性上得出了绑定。我们在一个抽象的图生成任务和两个分子生成任务上评估catflow。在所有情况下,CATFLOW都超过或匹配当前最新的表现。