摘要 - 本文使用3D深度自动编码器和大型视觉语言模型(LVLM)介绍了一种新方法,以弥合视频数据和多模式模型之间的差距,以进行视频异常检测。该研究探讨了先前架构的局限性,尤其是在遇到分布外实例时缺乏专业知识。通过在同一管道中集成自动编码器和LVLM,该方法可以预测异常的存在并提供详细的解释。此外,这可以通过采用二进制分类并自动提示新查询来实现。测试表明,系统的推论能力为工业模型的缺点提供了有希望的解决方案。但是,缺乏用于异常检测的高质量指导遵循视频数据需要一种弱监督的方法。公认的LLM领域的当前局限性,例如物体幻觉和低物理学感知,突出了需要进一步研究以改善视频异常检测域的模型设计和数据质量。
图1。深度学习技术的分类学。图改编自参考[70]。MLP: Multi-Layer Perceptron; CNN: Convolutional Neural Network; ResNet: Residual Neural Net- work; GCN: Graph Convolutional Network; GAT: Graph Attention Network; RNN: Recurrent Neural Network; LSTM: Long Short-Term Memory; GRU: Gated Recurrent Unit; SAT: Structure- Aware Transformer; GAN: Generative Adversarial Network; AE: Auto-Encoder; SAE:稀疏自动编码器; DAE:DENOISISIS AUTOCODER; CAE:CASSITIVE AUTOCONEDER; VAE:VIRIATIANIT AUTOCONECODER; SOM:自组织映射; RBM:限制性Boltzmann Machine; DBN; DBN; DBN:深信信念网络:DRL:DRL:DRL:深度强化:深度强化学习。
创新的神经网络架构不断涌现,旨在解决有趣的问题 [1]–[3]。当人们专注于学习表示时,这类模型提供了一定的多功能性 [4]。有趣的是,人们往往更喜欢无监督方法,以消除可能引入的、可能不想要的标签偏见。这项研究基于经典的自动编码器架构,并结合了一种新颖的量子变分方法。自动编码器 (AE) 被认为是一种无监督学习模型,它使用神经网络重建输入信号 [5]。AE 因其一些成功的版本而闻名,包括变分自动编码器 (VAE) [6] 和去噪 AE [7], [8]。特别是密集 AE,已被证明在学习数据表示(通常经过压缩)方面非常强大,同时保留了大部分信息 [9]。近年来,营销研究人员对利用机器学习的兴趣日益浓厚。与传统的统计和计量经济学方法相比,机器学习方法可以处理大规模数据、非结构化数据,具有灵活的模型结构并能产生更好的预测。自动编码器开始用于从营销环境中的复杂数据中生成有意义的描述,例如消费者社交网络或消费者产品网络[10]。分析大规模网络的方法论挑战在于高维性。最近一项关于 Facebook 用户参与数据中的用户-品牌网络的研究使用深度自动编码器进行嵌入,并表明品牌的市场结构比标准行业分类所建议的更具流动性和重叠性[11]。此外,变分自动编码器已被开发用于
• 普通自动编码器和变分自动编码器之间的主要区别在于潜在空间的结构。在 VAE 中,潜在空间是连续且概率性的。这一特性使得 VAE 特别适用于生成建模,因为它们可以通过从潜在空间中学习到的分布中进行采样来生成新的数据点。
fi g u r e 1基于VAE方法的图表应用于EDNA数据(VAESEQ)。该模型由一个自动编码器(AE)和一个变异自动编码器(VAE)组成。AE将每个MOTU的遗传序列信息与每个样品中每个MOTU的存在/不存在相结合,以生成第一个潜在编码Z AE。然后将此信息传递给一个编码层的VAE。因此,在每次迭代中,VAE接收到一个样品中每个MOTU检测到的序列的输入,并且嵌入Z AE的自动编码器。vae处理两个输入,并将样品的维度降低到二维潜在空间z vae。在z vae中,我们找到了所有数据点的2D表示(图S3A,b)。在解码部分中,VAE重建了两个输入,以相应地优化网络。
摘要 - γ发射放射性核素的自动识别和量化,这是由于放射性源环境中伽马相互作用而导致的光谱变形,这是各种核应用的挑战。在本文中,通过开发结合机器学习和经典统计方法的混合方法来解决此问题。提出了一种基于机器学习的自动编码器,可以提出可以使用有限数据捕获光谱变异性的。研究了一种使用预训练的自动编码器的新型混合构想算法,以在四个放射性核素的混合物(57 CO,60 CO,133 BA,137 CS)的情况下进行频谱特征的联合估算和计数。这项研究是为了考虑到低统计量下的衰减和康普顿散射引起的光谱变形。结果证明了这种新的混合方法基于机器学习的有效性和对γ光谱自动全光谱分析的最大可能性的有效性。索引术语 - gamma射线光谱,光谱变异性,混合算法,机器学习,插值自动编码器,半盲透明
于2023年12月20日收到; 2024年3月27日接受; 2024年4月17日出版作者分支:1 IRD,索邦大学,Ummisco,32 Avenue Henry Varagnat,Bondy Cedex,法国; 2 Sorbonne University,Inserm,Nutriomics,91 BVD de L'Hopital,法国75013,法国。*信函:加斯帕·罗伊(Gaspar Roy),加斯帕(Gaspar。 Jean-Daniel Zucker,Jean-Daniel。Zucker@ird。FR关键字:微生物组;宏基因组学;深度学习;神经网络;嵌入; binning;疾病预测。缩写:ASV,扩增子序列变体; CAE,卷积自动编码器; CGAN,有条件的生成对抗网络; CNN,卷积神经网络; Dae,Denoing AutoCododer; DL,深度学习; FFN,馈送网络; GAN,生成对抗网络;它的内部转录垫片; LSTM,长期记忆; MAG,元基因组组装基因组; MGS,宏基因组; MIL,多个实例学习; ML,机器学习; MLP,多层感知器; NGS,下一代测序; NLP,自然语言处理; NN,神经网络; RNN,经常性神经网络; SAE,稀疏的自动编码器; Sota,艺术状态; SVM,支持向量机; TNF,四核苷酸频率; Vae,各种自动编码器; WGS,全基因组测序。数据语句:文章或通过补充数据文件中提供了所有支持数据,代码和协议。补充材料可与本文的在线版本一起使用。001231©2024作者