XiaoMi-AI文件搜索系统
World File Search Systemmodality
梯度引导的模态脱钩 - ...
具有不完整输入数据（缺少模态）的多模式学习是实用且具有挑战性的。在这项工作中，我们对这一挑战进行了深入的分析，发现模式优势对模型训练具有显着的负面影响，从而极大地降低了缺失的模态性能。是由Grad-CAM激励的，我们引入了一种新颖的指标，梯度，以监测和减少在缺失情景中广泛存在的模态主导性。为了帮助该指标，我们提出了一种新颖的梯度引导的模态解耦（GMD）方法，以促进对主导方式的依赖性。特定的是，GMD从不同模态中删除了冲突的梯度成分，以实现这种去耦，从而显着提高了性能。此外，要弹性处理模态分配数据，我们设计了一个参数有效的动态共享（DS）框架，该框架可以根据是否可用，可以根据是否可用来求解网络参数。我们对三个流行的多模式基准进行了广泛的实验，包括Brats 2018用于医学分割，CMU-MOSI和CMU-MOSEI进行情感分析。结果表明，我们的方法可以显着胜过竞争对手，表明所提出的解决方案的有效性。我们的代码在此处发布：https：//github.com/haowang420/gradient-gendient-gudide-modality-decoupling。
神经科学的新型成像方式
摘要——由于每秒数千帧的超快超声成像的出现，超声对慢血流运动的灵敏度在过去十年中提高了两个数量级。在神经科学中，这种对小脑血管流的接触导致超声作为一种新的、成熟的神经成像方式被引入。与功能性 MRI 或功能性光学成像一样，功能性超声 (fUS) 受益于神经血管耦合。它的易用性、便携性、空间和时间分辨率使其成为临床前成像中脑活动功能成像的有吸引力的工具。大量且快速增长的研究在各种小型到大型动物模型中证明了其在神经科学研究中的潜力。除了临床前成像之外，在人类身上的首次概念验证应用前景光明，并证明了明显的临床兴趣，特别是在人类新生儿、术中手术，甚至非侵入性脑机接口的开发中。这篇文章是题为“脑成像”的特刊的一部分。2021 作者。由 Elsevier Ltd 代表 IBRO 发布。这是一篇根据 CC BY-NC-ND 许可协议 ( http://creativecommons.org/licenses/by-nc-nd/4.0/ ) 开放获取的文章。
通过共享缺少模态的多模态学习...
缺失模态问题对于多模态模型来说至关重要，但并非易事。当前旨在处理多模态任务中缺失模态问题的方法要么仅在评估期间处理缺失模态，要么训练单独的模型来处理特定的缺失模态设置。此外，这些模型是为特定任务设计的，例如，分类模型不易适应分割任务，反之亦然。在本文中，我们提出了共享特定特征建模 (ShaSpec) 方法，该方法比解决上述问题的竞争方法简单得多，也更有效。ShaSpec 旨在通过学习共享和特定特征来更好地表示输入数据，从而在训练和评估期间利用所有可用的输入模态。这是通过一种依赖于基于分布对齐和域分类的辅助任务以及残差特征融合程序的策略实现的。此外，ShaSpec 的设计简单性使其易于适应多种任务，例如分类和分割。在医学图像分割和计算机视觉分类方面进行了实验，结果表明 ShaSpec 的表现远胜于竞争方法。例如，在 BraTS2018 上，ShaSpec 将增强肿瘤的 SOTA 提高了 3% 以上，将肿瘤核心的 SOTA 提高了 5%，将整个肿瘤的 SOTA 提高了 3%。1
20A305_基因组模态：了解基因组的物理特性
自从DNA双螺旋结构被发现以来，基因组研究的范围不断扩大，我们对基因组的认识也得到了极大的进步；与此同时，许多模式生物的全基因组测序已经完成，而基因组编辑技术也正在迅速普及。过去的基因组研究主要集中在基因组信息的复制、修复、重组、分裂等信息层面，并进一步强调表观遗传调控来解释遗传现象。另一方面，DNA的物理性质，如硬度、扭转、超螺旋等，虽然是直接影响基因组结构的重要性质，但人们对其了解甚少。在本项目中，我们将重点研究基因组/DNA的物理性质，以了解基因组如何构建其结构以及如何发挥作用。我们将“基因组模态”定义为组织基因组结构和功能的多维模式。我们将从基因组模态的角度揭示基因组的真实面貌。为此，我们运用生物化学、细胞生物学、基因组科学、高分子物理学等方法，开辟了研究“基因组形态”的新领域。【研究项目内容】
基于备忘录的神经调节装置，用于实时监测和自适应控制体外神经元种群
。cc-by-nc-nd 4.0国际许可证（未获得同行评审证书）获得的是作者/资助者，他已授予Biorxiv授予Biorxiv的许可，以永久显示预印本。这是该版本的版权所有，该版本发布于2021年5月25日。 https://doi.org/10.1101/2021.05.25.25.445577 doi：biorxiv preprint
神经网络权重作为新数据模式
范围。过去十年中持续的深度学习革命带来了在各种数据集中受过培训的数亿个神经网络（NNS）。同时，最近的基础模型的兴起导致公开可用的神经网络模型数量迅速增加。单独拥抱面孔，有超过一百万个型号，每天增加数千个型号。结果，数据中包含的丰富知识，通过培训学到的抽象以及受过训练的模型的行为本身存储在训练有素的NNS的架构和参数中。尽管这种大量增长，但对处理模型权重的研究很少，很少被认为是数据模式。该研讨会旨在通过将已经与模型权重相互作用的分散的子社区汇集在一起，以建立一个围绕体重空间学习的社区，并将民主化模型权重作为适当的数据方式进行民主化。
上下文依赖性翻译抑制作用作为一种新型的肿瘤学治疗方式
Title: Context-dependent translation inhibition as a novel oncology therapeutic modality Authors: Paige D. Diamond*, Paul V. Sauer*, Mikael Holm, Canessa J. Swanson-Swett, Lucas Ferguson, Natalie M. Bratset, Grant W. Wienker, Justin Seiwert Sim, Hailey K. Adams, Lillian Kenner, Margot Meyers, David Gygi，ZefA.Könst，Sogole Sami Bahmanyar，Lawrence G. Hamann＆Anthony P. Schuller ***这些作者应针对：aschuller@interdictbio.com供应：真核核糖体的（PTC）抑制翻译。最近的工作表明，某些PTC结合抗生素以序列选择性作用，在多肽参与PTC时抑制特定氨基酸的翻译伸长。然而，这种现象尚未记录在抑制人核糖体翻译的化合物中。在这里，我们使用基于结构的设计来指导与人核糖体PTC结合并以上下文选择性的方式作用以抑制翻译延伸的分子的合成。使用核糖体分析，结合体外生物化学和冷冻电子显微镜，我们表征了独特类似物的上下文选择性，并观察到它们与具有互补特性的新生链残基的首选相互作用。此外，我们提出了一个结构约为1.9Å分辨率与MYC蛋白结合的结构，并确定了新生链和核糖体RNA中产生的结构重排。在细胞中，我们记录了这些化合物如何差异地影响核糖毒性应激响应途径，该核糖毒素反应途径可以监测核糖体碰撞并触发凋亡。最后，我们使用三阴性乳腺癌的MDA-MB-231模型在细胞系中口服衍生异种移植物的口服给药后证实了它们的肿瘤生长抑制活性。一起，我们的数据建立了对翻译的序列选择性抑制作用，作为一种新型的小分子治疗方式，可以通过靶向人核糖体PTC中的致癌依赖性因子的翻译来解决癌症。关键字：翻译抑制剂，限制者，核糖体，低温电子显微镜（冷冻 - EM），核糖毒性应激反应，癌症，MYC
细胞外靶向蛋白质降解：一种新兴的治疗方式
• Type-II transmembrane glycoprotein: ~40kDa CRD • Hetero-oligomer of homologous subunits H1 and H2 • Density: ~100,000–500,000 receptors per hepatocyte • Function: endocytosis of galactose-(Gal) and N-acetyl galactosamine-(GalNAc) serum glycoproteins / cells
MMCFormer：用于脑肿瘤分割的缺失模态补偿变换器
人类脑肿瘤，更具体地说是神经胶质瘤，是最危及生命的癌症之一，通常由神经胶质干细胞异常生长引起。实际上，磁共振成像 (MRI) 模态提供不同的对比度来阐明组织特性，提供有关大脑结构的全面信息以及检测肿瘤的潜在线索。因此，多模态 MRI 通常用于诊断脑肿瘤。然而，由于获取的模态集可能因临床部位而异，脑肿瘤研究可能会遗漏一两种 MRI 模态。为了以端到端的方式解决缺失信息，我们提出了 MMCFormer，一种新颖的缺失模态补偿网络。我们的策略建立在 3D 高效转换器块之上，并使用共同训练策略来有效地训练缺失模态网络。为了确保多尺度特征一致性，MMCFormer 在编码器的每个尺度上都使用全局上下文一致性模块。此外，为了传输特定于模态的表示，我们建议在瓶颈阶段加入辅助标记，以对完整和缺失模态路径之间的交互进行建模。最重要的是，我们包括特征一致性损失，以减少网络预测中的域差距并提高缺失模态路径的预测可靠性。在 BraTS 2018 数据集上进行的大量实验证明了我们的方法与竞争方法相比的优势。实现代码可在 GitHub 上公开获取。关键词：Transformer、缺失模态、分割、MRI、医学。
利用单眼动模式简化多模态情绪识别
多模态情绪识别一直是情感计算的热门话题，因为与单一模态相比，它能显著提高识别性能。其中，脑电图 (EEG) 和眼动信号的组合由于它们的互补性和客观性而成为最有吸引力的实践之一。然而，脑电图信号采集的高成本和不便性严重阻碍了多模态情绪识别在实际场景中的普及，而眼动信号则更容易获取。为了在不影响性能的情况下提高情绪解码的可行性和泛化能力，我们提出了一个基于生成对抗网络的框架。在我们的模型中，单一模态的眼动作为输入，它能够将信息映射到多模态特征上。在不同情绪类别的 SEED 系列数据集上的实验结果表明，与使用多模态输入的模型相比，使用单一眼动模态生成的多模态特征的模型保持了具有竞争力的准确率，并且大大优于那些单模态情绪分类器。这说明该模型有可能在不牺牲性能的情况下减少对多模态的依赖，从而使情绪识别更具适用性和实用性。