XiaoMi-AI文件搜索系统
World File Search Systemtimodal
零射击学习的多模式基准和改进的体系结构
在这项工作中，我们证明，由于现有评估协议和数据集中的不足，因此有必要重新审视并全面研究Mul-timodal零射击学习（MZSL）问题问题。具体来说，我们解决了MZSL方法面临的两个主要挑战。 （1）既定基线的情况通常是无与伦比的，而且有时甚至是有缺陷的，因为现有的评估数据集通常与培训数据集有一些重叠，因此违反了零照片范式； （2）大多数现有的方法都偏向可见的类，这在对可见和看不见的类别进行评估时会大大降低性能。为了应对这些挑战，我们首先引入了一个新的多模式数据集，用于零照片评估，称为MZSL-50，其中有4462个视频来自50个广泛多元化的类别，并且与培训数据没有重叠。此外，我们提出了一种新型的多模式零射击变压器（MZST）体系结构，该体系结构利用了吸引瓶颈进行多模式融合。我们的模型可以直接预测语义表示，并且在将偏见降低到可见的类别方面表现出色。我们进行了广泛的消融研究，并在三个基准数据集和我们的新型MZSL-50数据集上实现最先进的结果。具体来说，我们提高了传统的MZSL绩效2。1％，9。81％和8。 vgg-sound，UCF-101和ActivityNet的68％。 最后，我们希望引入MZSL-50数据集将促进对社区中多模式零射击的深入研究。 181％和8。vgg-sound，UCF-101和ActivityNet的68％。最后，我们希望引入MZSL-50数据集将促进对社区中多模式零射击的深入研究。1
MECASA：使用加性自注意力对混合 EEG-fNIRS 数据进行运动执行分类
运动执行是人类行为的一个基本方面，已利用 BCI 技术进行了广泛的研究。EEG 和 fNIRS 已被用于提供有价值的见解，但它们各自的局限性阻碍了性能。这项研究调查了融合脑电图 (EEG) 和功能性近红外光谱 (fNIRS) 数据在运动执行范式中对静息状态与任务状态进行分类的有效性。使用 SMR 混合 BCI 数据集，这项研究将单峰 (EEG 和 fNIRS) 分类器与多峰融合方法进行了比较。它提出了使用卷积加性自注意机制 (MECASA) 的运动执行，这是一种利用卷积运算和自注意来捕获多峰数据中复杂模式的新颖架构。 MECASA 建立在 CAS-ViT 架构之上，采用计算效率高、基于卷积的自注意模块 (CASA)、混合块设计和专用融合网络，将来自独立 EEG 和 fNIRS 处理流的特征组合在一起。实验结果表明，MECASA 在所有模态 (EEG、fNIRS 和融合) 中的表现始终优于成熟方法，与单模态方法相比，融合方法始终能提高准确性。fNIRS 通常比单独的 EEG 实现更高的准确性。消融研究揭示了 MECASA 的最佳配置，其中嵌入维度为 64-128 为 EEG 数据提供最佳性能，OD128（上采样光密度）为 fNIRS 数据产生优异结果。这项工作凸显了深度学习，特别是 MECASA，在增强 EEG-fNIRS 融合用于 BCI 应用的潜力。
MMTOM-QA：心灵的多模式理论问题回答
心理理论（汤姆）是掩盖人民精神状态的能力，是开发具有人类社会智力的机器的必要意义。最近的机器学习模型，尤其是大型语言模型，似乎显示了汤姆·不明智的某些方面。但是，现有的Tom Bench- Marks使用单峰数据集 - 视频或文本。人类汤姆不仅仅是视频或文字理解。peo-ple可以灵活地理解他人的思想，这些思想基于从任何可用数据中提取的概念表示（例如目标，信念，计划）。为了解决这个问题，我们介绍了一种思想问题问题回答（MMTOM-QA）基准。MMTOM-QA在多模式数据和各种单模式数据上对机器在房屋环境中的活动进行多种模态数据进行评估。对于工程师多模式的tom容量，我们提出了一种新颖的方法，即双层（贝叶斯逆计划通过语言模型加速）。BIP-ALM从多模式数据中提取统一表示形式，并利用语言模型进行可扩展的贝叶斯逆计划。我们对包括GPT-4在内的人类绩效，BIP-ALM和最新模型进行了系统的比较。实验表明，大型语言模型和大型多模型仍然缺乏强大的TOM容量。BIP-ALM通过利用基于模型的Mental推断和语言模型的力量来显示出令人鼓舞的结果。1
通过熵和引导多模式融合在不利天气条件下增强对象检测
摘要。通过互补感应方式整合各种表示形式对于自主驾驶中的强大场景解释至关重要。近年来，融合视觉和范围数据的深度学习体系结构具有先进的2D和3D对象检测。但是，这些方式在不利的天气或照明条件下通常会降解，从而导致性能下降。虽然已经开发了域适应性甲基元素来弥合源域和目标域之间的缝隙，但由于源和目标域之间的固有差异，它们通常会缺乏。此差异可以在数据的不同分布和不同特征空间的不同分布中表现出来。本文介绍了一个全面的域自适应对象检测框架。通过深度转移学习开发，该框架旨在从标记的透明天气数据中稳健地概括到无标记的不良天气条件，从而增强了基于深度学习的对象检测模型的性能。创新的斑块熵融合模块（PEFM）是我们方法的核心，该方法动态整合了sens-sor数据，强调关键信息并最大程度地减少了背景干扰。这进一步补充了一种新型的加权决策模块（WDM），该模块（WDM）根据其在特定环境条件下的功效来调整不同传感器的贡献，从而优化了检测准确性。此外，我们在转移学习过程中集成了域对齐损失，以确保有效的域适应性通过将特征图差异定于清晰和不利天气数据集之间的差异。我们评估了不同数据集的模型，包括Exdark（单峰），CityScapes（单峰）和密集（Mul-timodal），在我们评估的时间点，它在所有数据集中排在所有数据集中。
多模式的大脑信号复杂性预测人类智力
自发的大脑活动为外部需求期间人类认知处理的基础奠定了基础。基于功能磁共振成像（fMRI）的神经影像学研究确定了自发（内在）脑动力学的特定特征，这些特征与一般认知能力的个体差异相关，即智力。然而，fMRI研究本质上受到时间分辨率低的限制，因此阻止了关于毫秒内神经波动的结论。在这里，我们使用了来自144名健康成年人的静止状态脑电图（EEG）录音（EEG）录音，以测试是否可以从智力上的个体差异（Raven的先进的渐进式矩阵得分）来预测，可以从时间上高度分辨的内在脑脑sig-nals的复杂性中预测。我们比较了大脑信号复杂性的不同操作（多尺度熵，香农熵，模糊熵和微骨与智能关系的特定特征）。结果表明，大脑信号复杂性度量与智力之间的关联具有较小的效应大小（R; 0.20），并且在不同的空间和时间尺度上有所不同。具体来说，较高的智力得分与神经处理的局部方面的复杂性较低，而属于默认模式网络的任务阴性大脑区域的活动较少。最后，我们结合了大脑信号复杂性的多个测量方法，以表明可以通过样品中的多模式（10倍交叉验证）以及在独立的样品（外部复制，n = 57）中进行多模型的多模型来显着预测单个智力得分。总的来说，我们的结果强调了智力和内在的大脑动力学之间关联的时间和空间依赖性，并提出mul-timodal方法是对复杂人类特征的未来神经科学研究的有希望的手段。
查询意见的语言图像融合嵌入e- ...
相关性模块在电子商务搜索中起着基本作用，因为他们负责根据用户查询从数千个项目中选择相关产品，从而增强用户的体验和效率。传统方法根据产品标题和用户查询来计算相关性得分，但是单独的标题中的信息可能不足以完全删除产品。一种更通用的方法是进一步利用产品图像信息。近年来，视觉语言预训练模型在许多情况下都实现了令人印象深刻的恢复，这些模型将构图的研究利用将文本和vi-sual特征映射到关节嵌入空间中。在电子商务中，一种常见的做法是根据预先训练的模型，使用电子商务数据进一步微调模型。但是，性能是最佳的，因为视觉语言预训练模型缺乏专门为查询设计的一致性。在此过程中，我们提出了Q uery-a an an a an an a a a guage i mage f usion e mbedding，以应对这些挑战（Query-Life）。它利用基于查询的mul-timodal融合来根据产品类型有效地合并图像和标题。在方面，它采用查询感知的模态对准来增强产品的全面表示的准确性。此外，我们设计了Genfilt，它利用大型模型的发电能力过滤出虚假的负样本，并进一步改善模型中对比度学习任务的整体性能。实验表明，查询寿命的表现优于现有基准。我们进行了消融研究和人类评估，以验证查询寿命内每个模块的效率。此外，查询生活已在Miravia搜索1
结论
隶属关系：（a）路德维希 - 马克西米利人 - 慕尼黑，杜。（b）罗格斯大学，美国新泽西州新不伦瑞克省和美国纽约的Curepsp。（c）加利福尼亚大学，美国旧金山记忆与老化中心。（d）巴塞罗那医院诊所。（E）英国NHS基金会信托基金会伦敦大学学院医院。（F）巴塞罗那费勒的R＆D投资组合部门。es。（g）巴塞罗那Ferrer的临床发展部。（H）巴塞罗那Ferrer的医疗部门。参考文献：（1）Agarwal S，Gilbert R.进行性次核瘫痪。[更新2023 3月27日]。in：statpearls [Internet]。宝藏岛（FL）：Statpearls Publishing； 2024年1月。可从：https：//www.ncbi.nlm.nih.gov/books/nbk526098/; （2）Permanne B，Sand A，Ousson S等。O-Glcnacase抑制剂ASN90是tau和α-突触核蛋白蛋白质病的Mul-timodal药物。ACS Chem Neurosci。2022 Apr 20; 13（8）：1296-1314。 doi：10.1021/acschemneuro.2c00057。EPUB 2022 3月31日。PMID：35357812; PMCID：PMC9026285; （3）Selnick HG，Hess JF，Tang C等。 发现MK-8719，这是一种有效的O-Glcnacase抑制剂，是对功的潜在治疗方法。 J Med Chem。 2019; 62（22）：10062-10097.DOI：10.1021/acs.jmedchem.9b01090; （4）Balana在Pratt MR。神经退行性疾病中O-Glcnacylation改变的机械作用。 Biochem J. 2021年7月30日; 478（14）：2733-2758。 doi：10.1042/bcj20200609。 进行性临床核对核对的临床诊断：运动障碍社会标准。PMID：35357812; PMCID：PMC9026285; （3）Selnick HG，Hess JF，Tang C等。发现MK-8719，这是一种有效的O-Glcnacase抑制剂，是对功的潜在治疗方法。J Med Chem。 2019; 62（22）：10062-10097.DOI：10.1021/acs.jmedchem.9b01090; （4）Balana在Pratt MR。神经退行性疾病中O-Glcnacylation改变的机械作用。 Biochem J. 2021年7月30日; 478（14）：2733-2758。 doi：10.1042/bcj20200609。 进行性临床核对核对的临床诊断：运动障碍社会标准。J Med Chem。2019; 62（22）：10062-10097.DOI：10.1021/acs.jmedchem.9b01090; （4）Balana在Pratt MR。神经退行性疾病中O-Glcnacylation改变的机械作用。Biochem J.2021年7月30日; 478（14）：2733-2758。 doi：10.1042/bcj20200609。进行性临床核对核对的临床诊断：运动障碍社会标准。PMID：34297044; PMCID：PMC8840812; (5) Höglinger GU, Respondek G, Stamelou M, Kurz C, Josephs KA, Lang AE, Mollenhauer B, Müller U, Nilsson C, Whitwell JL, Arzberger T, Englund E, Gelpi E, Giese A, Irwin DJ, Meissner WG, Pantelyat A, Rajput A, van Swieten JC, Troakes C, Antonini A, Bhatia KP, Bordelon Y, Compta Y, Corvol JC, Colosimo C, Dickson DW, Dodel R, Ferguson L, Grossman M, Kassubek J, Krismer F, Levin J, Lorenzl S, Morris HR, Nestor P, Oertel WH, Poewe W, Rabinovici G, Rowe JB, Schellenberg GD，Seppi K，Van Eimeren T，Wenning GK，Boxer AL，Golbe Li，Litvan I；运动障碍社会认可的PSP研究小组。 MOV DISORD。 2017年6月; 32（6）：853-864。 doi：10.1002/mds.26987。 EPUB 2017年5月3日。 PMID：28467028; PMCID：PMC5516529。 ; （6）一项评估FNP-223的疗效，安全性和药代动力学对进行性核上麻痹（PSP）进展缓慢的研究。 clin- clintrials.gov [Internet]。 可用：https：//www.clinicaltrials.gov/study/nct06355531。 访问于02/10/2024。PMID：34297044; PMCID：PMC8840812; (5) Höglinger GU, Respondek G, Stamelou M, Kurz C, Josephs KA, Lang AE, Mollenhauer B, Müller U, Nilsson C, Whitwell JL, Arzberger T, Englund E, Gelpi E, Giese A, Irwin DJ, Meissner WG, Pantelyat A, Rajput A, van Swieten JC, Troakes C, Antonini A, Bhatia KP, Bordelon Y, Compta Y, Corvol JC, Colosimo C, Dickson DW, Dodel R, Ferguson L, Grossman M, Kassubek J, Krismer F, Levin J, Lorenzl S, Morris HR, Nestor P, Oertel WH, Poewe W, Rabinovici G, Rowe JB, Schellenberg GD，Seppi K，Van Eimeren T，Wenning GK，Boxer AL，Golbe Li，Litvan I；运动障碍社会认可的PSP研究小组。MOV DISORD。 2017年6月; 32（6）：853-864。 doi：10.1002/mds.26987。 EPUB 2017年5月3日。 PMID：28467028; PMCID：PMC5516529。 ; （6）一项评估FNP-223的疗效，安全性和药代动力学对进行性核上麻痹（PSP）进展缓慢的研究。 clin- clintrials.gov [Internet]。 可用：https：//www.clinicaltrials.gov/study/nct06355531。 访问于02/10/2024。MOV DISORD。2017年6月; 32（6）：853-864。 doi：10.1002/mds.26987。EPUB 2017年5月3日。PMID：28467028; PMCID：PMC5516529。; （6）一项评估FNP-223的疗效，安全性和药代动力学对进行性核上麻痹（PSP）进展缓慢的研究。clin- clintrials.gov [Internet]。可用：https：//www.clinicaltrials.gov/study/nct06355531。访问于02/10/2024。