XiaoMi-AI文件搜索系统
World File Search System多模式
dmr：视觉增强学习中的框架和事件融合的分解多模式表示
我们使用两种互补视觉方式探索视觉增强学习（RL）：基于框架的RGB凸轮和基于事件的动态视觉传感器（DVS）。iSTING多模式视觉RL方法在有效提取与任务相关的信息时经常遇到挑战。为了解决这个问题，我们提出了用于视觉RL的分解多模式表示（DMR）框架。它将输入分为三个不同的组成部分：与任务相关的效果（共同功能），RGB特异性噪声和DVS特异性噪声。共同创作表示与RL任务相关的两种模式中的完整信息；这两个噪声组件都受到数据重构损失以避免信息泄漏的约束，与共同创作形成对比，以最大程度地差异。广泛的经验表明，通过明确分开不同信息的类型，我们的方法可实现与最先进的方法相比，实质性改善的政策绩效。
C9orf72 ALS/FTD二肽重复蛋白水平通过抑制PKA或增强蛋白质降解的小分子降低对扩散：全面的多模式对象级图像编辑器
基于扩散的生成模型在合成和操纵图像具有巨大的图像方面表现出了令人鼓舞的结果，其中文本到图像模型及其后续作品在学术界和行业中都具有很大的影响。编辑真实图像时，用户通常希望对不同元素具有直观而精确的控制（即对象）组成图像，并不断地操纵它们。我们可以根据图像中的单个观察的控制级别对现有的图像编辑方法进行分类。一条工作涉及使用文本提示来操纵图像[2，15，24，27]。由于很难与文本同时描述多个对象的形状和外观，因此在对象级别上对细粒度控制的能力有限。同时，迅速的工程使操纵任务乏味且耗时。另一项工作线使用低级调理信号，例如Hu等人。[18]，Patashnik等。[34]，Zeng等。[58]，草图[50]，图像[5，47，54]编辑图像。但是，其中大多数作品要么属于迅速的工程陷阱，要么无法独立操纵多个对象。与以前的作品不同，我们的目标是独立控制组成图像的多个对象的正确条件，即对象级编辑。我们表明，我们可以在对象级编辑框架下制定各种图像编辑任务，从而实现全面的编辑功能。
增强具有生成负面挖掘的视觉语言模型的多模式组成推理
当代的大规模视觉语言模型（VLM）具有强大的表示能力，使它们无处不在，可以增强图像和文本理解任务。他们经常以对比的方式受到大量图像和相应的文本字幕的对比方式进行训练。尽管如此，VLMS经常在构图推理任务上挣扎，这些任务对对象及其属性的复杂相互作用进行了精细的了解。此失败可以归因于两个主要因素：1）对比的方法传统上专注于从现有数据集中开采负面示例。但是，该模型可能不难区分阳性检查。替代采矿的替代方法是负样本2），但现有的生成方法主要集中于生成与给定图像相关的硬性负面文本。在另一个方向上进行挖掘，即生成与给定文本相关的负面图像样本已被忽略。为了克服这两种限制，我们提出了一个框架，不仅在两个方向上矿山，而且在这两种方式（即图像和文本）中产生了有挑战性的负面样本。利用这些生成硬性负样本，我们在涉及多模式综合推理的任务中显着提高了VLMS的性能。我们的代码和数据集在https://ugorsahin.github.io/enhancing-- vlm.html上发布。
多模式和多任务自动驾驶数据集
当前用于自动驾驶计算机视觉的深层神经网络（DNNS）通常在仅涉及单一类型的数据和urban场景的特定数据集上进行培训。因此，这些模型努力使新物体，噪音，夜间条件和各种情况，这对于安全至关重要的应用至关重要。尽管持续不断努力增强计算机视觉DNN的弹性，但进展一直缓慢，部分原因是缺乏具有多种模式的基准。我们介绍了一个名为Infraparis的新颖和多功能数据集，该数据集支持三种模式的多个任务：RGB，DEPTH和INDRARED。我们评估了各种最先进的基线技术，涵盖了语义分割，对象检测和深度估计的任务。更多可视化和
零射击学习的多模式基准和改进的体系结构
在这项工作中，我们证明，由于现有评估协议和数据集中的不足，因此有必要重新审视并全面研究Mul-timodal零射击学习（MZSL）问题问题。具体来说，我们解决了MZSL方法面临的两个主要挑战。 （1）既定基线的情况通常是无与伦比的，而且有时甚至是有缺陷的，因为现有的评估数据集通常与培训数据集有一些重叠，因此违反了零照片范式； （2）大多数现有的方法都偏向可见的类，这在对可见和看不见的类别进行评估时会大大降低性能。为了应对这些挑战，我们首先引入了一个新的多模式数据集，用于零照片评估，称为MZSL-50，其中有4462个视频来自50个广泛多元化的类别，并且与培训数据没有重叠。此外，我们提出了一种新型的多模式零射击变压器（MZST）体系结构，该体系结构利用了吸引瓶颈进行多模式融合。我们的模型可以直接预测语义表示，并且在将偏见降低到可见的类别方面表现出色。我们进行了广泛的消融研究，并在三个基准数据集和我们的新型MZSL-50数据集上实现最先进的结果。具体来说，我们提高了传统的MZSL绩效2。1％，9。81％和8。 vgg-sound，UCF-101和ActivityNet的68％。 最后，我们希望引入MZSL-50数据集将促进对社区中多模式零射击的深入研究。 181％和8。vgg-sound，UCF-101和ActivityNet的68％。最后，我们希望引入MZSL-50数据集将促进对社区中多模式零射击的深入研究。1
多模式面部图像生成的扩散驱动的GAN倒置
摘要我们提出了一种新的多模式面部图像生成方法，该方法将文本提示和视觉输入（例如语义掩码或涂鸦图）转换为照片真实的面部图像。为此，我们通过使用DM中的多模式特征在预训练的GAN的潜在空间中使用多模式特征来结合一般的对抗网络（GAN）和扩散模型（DMS）的优势。我们提供了一个简单的映射和一个样式调制网络，可将两个模型链接起来，并在特征地图和注意力图中将有意义的表示形式转换为潜在代码。使用gan inversion，估计的潜在代码可用于生成2D或3D感知的面部图像。我们进一步提出了一种多步训练策略，该策略将文本和结构代表反映到生成的图像中。我们提出的网络生成了现实的2D，多视图和风格化的面部图像，这些图像与输入很好。我们通过使用预训练的2D和3D GAN来验证我们的方法，我们的结果表现优于现有方法。我们的项目页面可在https://github.com/1211SH/diffusion-driven_gan-inversion/。
一种多模式的方法利用脑电图研究VR环境对心理工作负载的影响
抽象虚拟现实（VR）是一项允许用户体验模拟真实或虚构场景的多感觉和交互式环境的技术。仍然辩论了不同的VR沉浸式技术神学对心理工作量（MWL）的影响，即执行任务所需的资源数量；但是，从未利用脑电图在这种情况下的潜在作用。本文旨在调查在VR环境中对MWL进行认知任务的影响，这是通过使用多模式的方法进行的，其特征在于以不同程度的沉浸式来进行，这些方法通过生理EEG测量对MWL进行了良好评估的主观评估。提出了基于N-BACK测试的认知任务，以比较使用头部安装显示器（HMD）或桌面计算机展示Stim uli的特定裤子的性能和MWL。任务具有四个不同的复杂度（N¼1或2具有视觉或视觉和听觉刺激）。二十七名健康参与者都参加了这项研究，并在两种情况下都执行了任务。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。 错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。 任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。 EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG MWL指数显示出显着增加，特别是与休息相比。不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。但是，在大多数情况下，HMD降低了EEG衍生的MWL，表明较低的认知负载。总而言之，HMD可能会减少某些任务的认知负担。如脑电图MWL指数所示，MWL的降低水平可能对基于VR的应用程序的设计和未来评估有影响。
生成的多模式模型是良好的类增量学习者
在班级学习（CIL）方案中，由于阶级的偏见对当前任务的偏见引起的灾难性遗忘者长期以来一直引起了重大挑战。它主要由判别模型的特征引起。随着生成性多模式模型的日益普及，我们将探索用CIL生成的歧视模型代替歧视模型。，从歧视到生成模式过渡需要解决两个关键挑战。主要挑战在于将生成的文本信息转移到不同类别的分类中。在方面，它需要在生成框架内制定CIL的任务。为此，我们提出了一种新颖的生成性多模式模型（GMM）框架，用于类增量学习。我们的方法直接使用改编的生成模型为图像生成Labels。获得详细的文本后，我们使用文本编码器来阐述文本特征，并采用匹配的功能来确定最相似的标签与分类的标签。在传统的CIL设置中，我们在长期序列的任务方案中取得了更好的影响。under少数CIL设置，与所有当前最新方法相比，我们的精度至少提高了14％，而遗忘的遗忘明显较小。我们的代码可在https://github.com/doubleclass/gmm上找到。
一种多模式的方法利用脑电图研究VR环境对心理工作负载的影响
抽象虚拟现实（VR）是一项允许用户体验模拟真实或虚构场景的多感觉和交互式环境的技术。仍然辩论了不同的VR沉浸式技术神学对心理工作量（MWL）的影响，即执行任务所需的资源数量；但是，从未利用脑电图在这种情况下的潜在作用。本文旨在调查在VR环境中对MWL进行认知任务的影响，这是通过使用多模式的方法进行的，其特征在于以不同程度的沉浸式来进行，这些方法通过生理EEG测量对MWL进行了良好评估的主观评估。提出了基于N-BACK测试的认知任务，以比较使用头部安装显示器（HMD）或桌面计算机展示Stim uli的特定裤子的性能和MWL。任务具有四个不同的复杂度（N¼1或2具有视觉或视觉和听觉刺激）。二十七名健康参与者都参加了这项研究，并在两种情况下都执行了任务。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。 错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。 任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。 EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG MWL指数显示出显着增加，特别是与休息相比。不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。但是，在大多数情况下，HMD降低了EEG衍生的MWL，表明较低的认知负载。总而言之，HMD可能会减少某些任务的认知负荷。如脑电图MWL指数所示，MWL的降低水平可能对基于VR的应用程序的设计和未来评估有影响。
地理空间植被预测的多模式学习
精确的地理空间植被预测具有各个部门的潜力，包括农业，林业，植物援助和碳会计。为了利用卫星图像的广泛可用性来完成此任务，各种作品应用了深层神经网络，以预测具有逼真质量的多光谱图像。但是，尚未彻底探索植被动力学的重要领域。我们的研究介绍了Greenearthnet，这是第一个专门为高分辨率植被预测设计的数据集，以及ContextFormer，这是一种新颖的深度学习方法，可预测Sentinel 2卫星2卫星图像，并在整个Eu-Rope之间进行精细分辨率。我们的多模式变压器模型上下文形式通过视觉主链利用空间上下文，并以参数有效的方式预测局部上下文贴片上包含气象时间序列的时间动态。Greenearthnet数据集具有学习的云蒙版和适当的植被建模评估方案。它还与现有的卫星图像预测数据集SEARNET2021保持兼容性，从而实现了跨数据库模型比较。我们广泛的定性和定量分析表明，我们的方法的表现优于广泛的基线技术。这包括超越了SEARNET2021上的先前最先进的模型，以及时间序列预测和视频预测的改编模型。我们提供开源代码和预训练的权重，以根据https：// gith ub.com/vitusbenson/greenearthnet [10]重新产生我们的实验结果。据我们所知，这项工作为大陆规模植被建模的第一个模拟介绍了良好的分辨，能够在季节性周期以外捕获异常，从而为对气候变化和极端的响应铺平了预测植被健康和行为的道路。