XiaoMi-AI文件搜索系统
World File Search System多模
L2词汇音调采集中的多模式提示
海洋生物膜是全球无处不在的表面相关微生物群落，由于其独特的结构和功能，引起了人们的关注。The aim of this study is to provide a comprehensive overview of the current scienti fi c understanding, with a speci fi c focus on naturally occurring bio fi lms that develop on diverse marine abiotic surfaces, including microplastics, sea fl oor sediments, subsurface particles, and submerged arti fi cial structures susceptible to biocorrosion and biofouling induced by marine bio fi LMS。本文介绍了有关海洋环境中这些表面相关微生物群落的多样性，结构，功能和动态的最新进展和发现，突出了它们的生态和生物地球化学维度，同时也是为了进一步研究海洋生物生物LMS的灵感。
一种多模式的方法利用脑电图研究VR环境对心理工作负载的影响
抽象虚拟现实（VR）是一项允许用户体验模拟真实或虚构场景的多感觉和交互式环境的技术。仍然辩论了不同的VR沉浸式技术神学对心理工作量（MWL）的影响，即执行任务所需的资源数量；但是，从未利用脑电图在这种情况下的潜在作用。本文旨在调查在VR环境中对MWL进行认知任务的影响，这是通过使用多模式的方法进行的，其特征在于以不同程度的沉浸式来进行，这些方法通过生理EEG测量对MWL进行了良好评估的主观评估。提出了基于N-BACK测试的认知任务，以比较使用头部安装显示器（HMD）或桌面计算机展示Stim uli的特定裤子的性能和MWL。任务具有四个不同的复杂度（N¼1或2具有视觉或视觉和听觉刺激）。二十七名健康参与者都参加了这项研究，并在两种情况下都执行了任务。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。 错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。 任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。 EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG MWL指数显示出显着增加，特别是与休息相比。不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。但是，在大多数情况下，HMD降低了EEG衍生的MWL，表明较低的认知负载。总而言之，HMD可能会减少某些任务的认知负担。如脑电图MWL指数所示，MWL的降低水平可能对基于VR的应用程序的设计和未来评估有影响。
一种多模式的方法利用脑电图研究VR环境对心理工作负载的影响
抽象虚拟现实（VR）是一项允许用户体验模拟真实或虚构场景的多感觉和交互式环境的技术。仍然辩论了不同的VR沉浸式技术神学对心理工作量（MWL）的影响，即执行任务所需的资源数量；但是，从未利用脑电图在这种情况下的潜在作用。本文旨在调查在VR环境中对MWL进行认知任务的影响，这是通过使用多模式的方法进行的，其特征在于以不同程度的沉浸式来进行，这些方法通过生理EEG测量对MWL进行了良好评估的主观评估。提出了基于N-BACK测试的认知任务，以比较使用头部安装显示器（HMD）或桌面计算机展示Stim uli的特定裤子的性能和MWL。任务具有四个不同的复杂度（N¼1或2具有视觉或视觉和听觉刺激）。二十七名健康参与者都参加了这项研究，并在两种情况下都执行了任务。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。 错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。 任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。 EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG MWL指数显示出显着增加，特别是与休息相比。不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。但是，在大多数情况下，HMD降低了EEG衍生的MWL，表明较低的认知负载。总而言之，HMD可能会减少某些任务的认知负荷。如脑电图MWL指数所示，MWL的降低水平可能对基于VR的应用程序的设计和未来评估有影响。
镜子u-net：将多模式裂变与多任务学习嫁给医学成像中的语义分割
正电子发射断层扫描（PET）和计算的刻录术（CT）通常共同用于检测肿瘤。PET/CT分割模型可以自动化肿瘤的描述，但是，当前的多模式模型不能完全阐明每种模式中的互补信息，因为它们要么串联PET和CT数据，要么在决策水平上融合它们。为了对抗这一点，我们提出了镜像u-net，它通过将多模式表示形式分配到模态特异性的解码器分支和辅助多模态解码器中，以多模态化的方式代替了传统的融合方法。在这些分支上，镜像u-net标志着一个针对每种模式量身定制的任务，以增强单峰特征，同时保留共享表示中的多模式特征。与以前的方法相比使用了其他方法或多任务学习，Mirror U-net将两个范式结合在一个统一的框架中。我们探索各种任务组合，并检查在模型中共享的哪些参数。我们在Autopet PET/CT和多模式MSD Braintumor数据集上评估了Mirror U-NET，证明了其在多模式分段中的有效性并在两个数据集中实现了先进的性能。代码：https：//github.com/zrrrrr1997/ autopet_challenge_mirrorunet
利用非脑和多模态脑成像数据预测健康和病理衰老过程中未来的认知能力下降
a 瑞士苏黎世大学心理学系可塑性研究方法 b 瑞士苏黎世大学和苏黎世联邦理工学院苏黎世神经科学中心 (ZNZ) c 瑞士苏黎世大学大学研究优先计划“健康老龄化动力学” d 法国帕莱索巴黎萨克雷大学、Inria、CEA e 德国莱比锡马克斯普朗克人类认知和脑科学研究所神经病学系 f 加拿大魁北克省蒙特利尔蒙特利尔大学老年医学研究所功能神经影像科 g 美国德克萨斯州奥斯汀德克萨斯大学戴尔医学院计算神经影像实验室 h 美国密歇根州底特律韦恩州立大学老年学研究所和心理学系 i 加拿大蒙特利尔康考迪亚大学心理学系 j 大脑与运动研究所认知神经解剖学实验室épinière，法国巴黎 k 德克萨斯大学心理学系，美国德克萨斯州奥斯汀
ma-lmm：长期视频理解的内存大型多模型
随着大型语言模型（LLM）的成功，将视觉模型融入了LLM，以建立视觉语言基础模型最近引起了人们的兴趣。但是，现有的基于LLM的大型多模式模型（例如，视频播放，视频聊天）只能摄入有限数量的框架以进行简短的视频理解。在这项研究中，我们主要专注于设计一个有效有效的模型，以进行长期视频理解。我们建议以在线方式处理视频并将过去的视频信息存储在存储库中，而不是像大多数现有作品一样尝试同时进行更多框架。这使我们的模型可以参考历史视频内容以进行长期分析，而不会超过LLM的上下文长度约束或GPU内存限制。我们的内存库可以以现成的方式被缝制到当前的多模式LLMS中。我们在各种视频理解任务上进行了广泛的实验，例如长期介绍，视频问题答案和视频字幕，我们的模型可以在多个数据集中实现最新的性能。
生成的多模式模型是良好的类增量学习者
在班级学习（CIL）方案中，由于阶级的偏见对当前任务的偏见引起的灾难性遗忘者长期以来一直引起了重大挑战。它主要由判别模型的特征引起。随着生成性多模式模型的日益普及，我们将探索用CIL生成的歧视模型代替歧视模型。，从歧视到生成模式过渡需要解决两个关键挑战。主要挑战在于将生成的文本信息转移到不同类别的分类中。在方面，它需要在生成框架内制定CIL的任务。为此，我们提出了一种新颖的生成性多模式模型（GMM）框架，用于类增量学习。我们的方法直接使用改编的生成模型为图像生成Labels。获得详细的文本后，我们使用文本编码器来阐述文本特征，并采用匹配的功能来确定最相似的标签与分类的标签。在传统的CIL设置中，我们在长期序列的任务方案中取得了更好的影响。under少数CIL设置，与所有当前最新方法相比，我们的精度至少提高了14％，而遗忘的遗忘明显较小。我们的代码可在https://github.com/doubleclass/gmm上找到。
多模式面部图像生成的扩散驱动的GAN倒置
摘要我们提出了一种新的多模式面部图像生成方法，该方法将文本提示和视觉输入（例如语义掩码或涂鸦图）转换为照片真实的面部图像。为此，我们通过使用DM中的多模式特征在预训练的GAN的潜在空间中使用多模式特征来结合一般的对抗网络（GAN）和扩散模型（DMS）的优势。我们提供了一个简单的映射和一个样式调制网络，可将两个模型链接起来，并在特征地图和注意力图中将有意义的表示形式转换为潜在代码。使用gan inversion，估计的潜在代码可用于生成2D或3D感知的面部图像。我们进一步提出了一种多步训练策略，该策略将文本和结构代表反映到生成的图像中。我们提出的网络生成了现实的2D，多视图和风格化的面部图像，这些图像与输入很好。我们通过使用预训练的2D和3D GAN来验证我们的方法，我们的结果表现优于现有方法。我们的项目页面可在https://github.com/1211SH/diffusion-driven_gan-inversion/。
C9orf72 ALS/FTD二肽重复蛋白水平通过抑制PKA或增强蛋白质降解的小分子降低对扩散：全面的多模式对象级图像编辑器
基于扩散的生成模型在合成和操纵图像具有巨大的图像方面表现出了令人鼓舞的结果，其中文本到图像模型及其后续作品在学术界和行业中都具有很大的影响。编辑真实图像时，用户通常希望对不同元素具有直观而精确的控制（即对象）组成图像，并不断地操纵它们。我们可以根据图像中的单个观察的控制级别对现有的图像编辑方法进行分类。一条工作涉及使用文本提示来操纵图像[2，15，24，27]。由于很难与文本同时描述多个对象的形状和外观，因此在对象级别上对细粒度控制的能力有限。同时，迅速的工程使操纵任务乏味且耗时。另一项工作线使用低级调理信号，例如Hu等人。[18]，Patashnik等。[34]，Zeng等。[58]，草图[50]，图像[5，47，54]编辑图像。但是，其中大多数作品要么属于迅速的工程陷阱，要么无法独立操纵多个对象。与以前的作品不同，我们的目标是独立控制组成图像的多个对象的正确条件，即对象级编辑。我们表明，我们可以在对象级编辑框架下制定各种图像编辑任务，从而实现全面的编辑功能。
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。