我们提出了一类结构化扩散模型,其中将先前的分布选择作为高斯人的混合物,而不是标准的高斯分布。可以选择特定的混合高斯分布,以合并数据的某些结构化信息。我们制定了一个简单的实施训练程序,可以平稳地使用混合高斯作为先验。理论来量化我们提出的模型的好处,该模型与经典扩散模型相比。进行合成,图像和操作数据的数值实验以显示我们模型的比较优势。我们的方法证明对错误的特定方法是可靠的,特别是需要实时训练资源有限或更快培训的诉讼情况。
©2020。此手稿版本可在CC-BY-NC-ND 4.0许可下提供http://creativecommons.org/licenses/by-nc-nc-nd/4.0/
稀疏门控混合专家网络 (MoE) 在自然语言处理中表现出色。然而,在计算机视觉中,几乎所有高性能网络都是“密集的”,也就是说,每个输入都由每个参数处理。我们提出了一种视觉 MoE (V-MoE),它是 Vision Transformer 的稀疏版本,具有可扩展性,可与最大的密集网络相媲美。当应用于图像识别时,V-MoE 的性能可与最先进的网络相媲美,同时在推理时只需要一半的计算量。此外,我们提出了一种路由算法的扩展,该算法可以对整个批次中每个输入的子集进行优先级排序,从而实现自适应的每幅图像计算。这使得 V-MoE 能够在测试时权衡性能并顺利计算。最后,我们展示了 V-MoE 扩展视觉模型的潜力,并训练了一个 15B 参数模型,在 ImageNet 上达到了 90.35% 的准确率。
1。最早记录了法医方法和实践的用途?2。这种法医方法和实践如何在其使用中进展?3。是否存在影响该领域的关键枢轴点或案例?4。哪些关键研究或出版物有哪些?5。功能和限制已记录在哪里?6。
多氯联苯 (PCB) 和多溴二苯醚 (PBDE) 是持久性有机污染物 (POP),以复杂混合物的形式存在于所有环境区域,包括水生生态系统中。然而,人们对这种复杂混合物对硬骨鱼类行为的影响知之甚少。在这项研究中,斑马鱼 (Danio rerio) 从受精后 5 天起通过饮食长期接触含有 22 种 PCB 和 7 种 PBDE 同源物的环境相关混合物 (MIX)。暴露于 MIX 的 F0 鱼产下的后代 (F1 和 F2 代) 以普通食物喂养并长大至成年。在每一代中,通过不同实验设置的平均值评估五种行为特征 (即大胆、活跃、社交、探索和焦虑)。确定了两种不同的行为综合征:大胆,与活动和探索呈正相关;焦虑,与低社交性有关。 F0 代鱼没有表现出任何因接触持久性有机污染物而导致的行为紊乱,而 F1 代混合鱼则比其他代鱼更大胆,但与 F1 代对照组并无明显差异。F2 代混合鱼表现出的焦虑综合征比 F2 代对照组更严重。这一点尤为重要,因为后代的此类行为变化可能会产生持久的生态后果,可能会影响健康,从而对接触持久性有机污染物混合物的野生鱼类种群造成不利影响。
药物-靶标相互作用预测 (DTI) 在药物发现和临床应用等各种应用中都至关重要。DTI 预测中广泛使用的输入数据有两个视角:内在数据表示药物或靶标的构造方式,外在数据表示药物或靶标与其他生物实体的关系。然而,对于某些药物或靶标,尤其是那些不受欢迎或新发现的药物或靶标,输入数据的两个视角中的任何一个都可能很稀缺。此外,特定相互作用类型的真实标签也可能很稀缺。因此,我们提出了第一种方法来解决输入数据和/或标签稀缺情况下的 DTI 预测。为了使我们的模型在只有一个输入数据视角可用时发挥作用,我们设计了两个独立的专家分别处理内在数据和外在数据,并根据不同的样本自适应地融合它们。此外,为了使这两个视角相互补充并弥补标签稀缺问题,两个专家以相互监督的方式相互协同,以利用大量未标记数据。在输入数据稀缺性和/或标签稀缺性不同的 3 个真实数据集上进行的大量实验表明,我们的模型显著且稳定地优于现有技术,最大改进为 53.53%。我们还在没有任何数据稀缺的情况下测试了我们的模型,它也优于当前方法。代码可在 https://github.com/BUPT-GAMMA/MoseDTI 获得。
随着多媒体技术的快速发展,视听学习已成为多模式分析领域中有前途的研究主题。在本文中,我们探讨了视听学习的参数有效传输学习,并提出了专家的视听混合物(AVMOE),以灵活地将适配器注入预训练的模型中。具体来说,我们将单峰和跨模式适配器作为多个专家介绍,分别专门研究模式内和模态信息,并采用轻巧的路由器根据每个任务的特定需求动态分配每个专家的权重。广泛的实验表明,我们提出的方法AVMOE在包括AVE,AVVP,AVS和AVQA在内的多个视听任务中取得了卓越的性能。此外,仅视觉实验结果还表明,我们的方法可以解决丢失模态信息的具有挑战性的场景。源代码可从https://github.com/yingchengy/avmoe获得。
摘要 - 当血管在脑组织内或颅骨内部的其他地方破裂或泄漏时,会发生颅内出血。这可能是由身体创伤或各种医疗状况引起的,在许多情况下会导致死亡。必须尽快开始治疗,因此应准确,快速诊断出出血。诊断通常是由放射科医生进行的,他分析了计算机断层扫描(CT)扫描,该扫描包含整个大脑的大量横截面图像。手动分析每个图像可能非常耗时,但是自动化技术可以帮助加快流程。尽管最近的许多研究都通过使用监督的机器学习算法来解决此问题,但由于隐私问题,公开可用的培训数据仍然很少。可以通过无监督的算法来缓解此问题。在本文中,我们提出了一种基于混合模型的完全无监督算法。我们的算法利用了这样一个事实,即出血和健康组织的性质遵循不同的分布,因此,对这些分布的适当表述使我们能够通过预期最大化的过程将它们分开。此外,我们的算法能够自适应地确定簇的数量,从而在不包括嘈杂的体素的情况下可以找到所有出血区域。我们在公共可用数据集上演示了我们的算法结果,这些数据集包含各种大小和强度的所有不同出血类型,我们的结果与早期的无监督和监督算法进行了比较。结果表明,我们的算法可以胜过大多数出血类型的其他算法。索引术语 - 计算机辅助诊断,颅内下摆,计算机断层扫描,混合模型,无监督的机器学习