摘要 在图像数量庞大、人们无法快速检索所需信息的当今世界,我们迫切需要一种更加简便、人性化的图像理解方式,图像字幕应运而生。图像字幕,顾名思义,就是通过分析理解图像信息,生成特定图像的自然语言描述,近年来被广泛应用于图文交叉研究、婴幼儿教育、弱势群体帮扶以及产业界的青睐,产生了许多优秀的研究成果。目前对图像字幕的评价基本基于BLUE、CIDEr等客观评价指标,容易导致生成的字幕无法接近人类语言表达,而GAN思想的引入使得我们能够采用对抗训练这种新的方法来对生成的字幕进行评价,评价模块更加自然、全面。考虑到对图像逼真度的要求,本课题提出了一种基于GAN的图像描述。引入Attention机制来提高图像保真度,使得生成的字幕更加准确,更接近人类的语言表达。
Stemansy旨在检测数字媒体中的隐藏消息,在信息安全领域提出重大挑战。本文介绍了一种对抗性的切解系统,该系统利用对抗性训练和有效的有效网络的功能提取功能。我们利用有效网络从图像中提取可靠的特征,随后由密集的神经网络对其进行分类,以区分隐志和非稳定摄影含量。为了增强系统对对抗性攻击的弹性,我们实施了一个自定义的对抗训练环,该训练循环使用快速梯度符号方法(FGSM)生成对抗性示例,并将这些示例集成到培训过程中。我们的结果表明,所提出的系统不仅可以在检测隐志含量方面具有很高的准确性,而且还保持了对抗性扰动的鲁棒性。利用最先进的深度学习体系结构和对抗性训练的双重方法为稳固性领域提供了重大进步,从而确保了对数字图像中隐藏信息的更可靠检测。
摘要 - 电脑摄影(EEG)通过电极测量不同大脑区域的神经元活性。许多关于基于脑电图的情绪识别的现有研究并不能完全利用脑电图通道的拓扑。在本文中,我们提出了一个正规化的图形网络(RGNN),以用于基于EEG的情绪识别。rgnn认为不同大脑区域之间的生物拓扑结构是在不同的脑电图通道之间捕获局部和全球关系。特别是,我们通过图神经网络中的邻接矩阵对脑电图中的通道间关系进行建模,在图神经网络中,邻接矩阵的连接和稀疏性受到人脑组织的神经科学理论的启发。此外,我们提出了两个正规化器,即节点的对抗训练(NODEDAT)和情绪感知的分布学习(EmotionDL),以更好地处理跨主题的EEG EEG变化和嘈杂的标签。在两个公共数据集(种子和种子IV)上进行了广泛的实验,在大多数实验环境中表明,与最先进的模型相比,我们的模型的性能优越。此外,消融研究表明,所提出的邻接矩阵和两个正则化器为我们的RGNN模型的性能贡献了一致且显着的增益。最后,对神经元活动的调查揭示了基于脑电图的情绪识别的重要大脑区域和通道间关系。
摘要 我们提出 AI-Lyricist:一个根据所需词汇和 MIDI 文件作为输入来生成新颖而有意义的歌词的系统。这项任务涉及多项挑战,包括自动识别旋律并从多声道音乐中提取音节模板、生成与输入音乐风格和音节对齐相匹配的创意歌词以及满足词汇约束。为了应对这些挑战,我们提出了一个自动歌词生成系统,该系统由四个模块组成:(1)音乐结构分析器,用于从给定的 MIDI 文件中获取音乐结构和音节模板,利用预期音节数的概念更好地识别旋律;(2)基于 SeqGAN 的歌词生成器,通过策略梯度进行多对抗训练优化,使用双鉴别器进行文本质量和音节对齐;(3)深度耦合的音乐歌词嵌入模型,将音乐和歌词投射到联合空间中,以便公平比较旋律和歌词约束;以及一个名为 (4) Polisher 的模块,通过对生成器应用掩码并替换要学习的单词来满足词汇约束。我们在超过 7,000 个音乐歌词对的数据集上训练了我们的模型,并通过主题、情感和流派方面的手动注释标签进行了增强。客观和主观评价均表明 AI-Lyricist 在所提出的任务上的表现优于最先进的技术。
摘要 - 基于脑电(EEG)的情感计算结果中的数据稀缺问题在构建具有机器学习算法(尤其是深度学习模型)的有效模型的有效模型中很困难。数据增强最近已实现了深度学习模型的大量性能改善 - 精确度,稳定性和减少过度填充。在本文中,我们提供了一个新颖的数据增强框架,即基于基于网络的对抗性网络的自我监督数据增强(Ganser)。是将对抗性训练与自我监督的学习相结合的第一个,以供基于脑电图的情绪识别,该拟议的框架可以生成高质量和高多样性模拟的脑电图样本。特别是,我们利用对抗训练来学习脑电图发生器,并迫使生成的脑电图信号近似实际样品的分布,从而确保增强样品的质量。使用转换函数来掩盖EEG信号的部分,并迫使发电机根据其余部分合成潜在的EEG信号,以生成各种样品。引入了转换过程中的掩蔽可能性作为先验知识,以指导为模拟的EEG信号提取可区分特征,并将分类器推广到增强样品空间。最后,广泛的实验证明了我们提出的方法可以帮助情绪识别绩效增长并实现状态结果。索引术语 - 基于EEG的情绪识别,数据库,生成对抗网络
我们制定了良好的连续时间生成流量,用于学习通过F-差异的近端正规化在低维歧管上支持的分布。wasserstein-1近端运算符调节f- ddiverences可以比较单数分布。同时,Wasserstein-2近端运算符通过添加最佳运输成本(即动能惩罚)来使生成流的路径正规化。通过均值野外游戏理论,我们表明这两个接近物的组合对于配制良好的生成流量至关重要。可以通过平均场游戏(MFG)的最佳条件,汉密尔顿 - 雅各布(HJ)的系统以及向前连续性偏微分方程(PDE)的最佳条件进行分析,其解决方案表征了最佳生成流。对于在低维流形的学习分布中,MFG理论表明,Wasserstein-1近端解决了HJ终端状况,而Wasserstein-2近端是针对HJ动力学的,这既是相应地向后的PDE系统,都可以很好地置于范围内,并且是一个独特的范围。这意味着相应的生成流也是唯一的,因此即使在学习在低维流形的高维分布方面,也可以以强大的方式学习。通过对持续时间流的对抗训练来学习生成流,这绕开了对反向模拟的需求。我们证明了我们的方法生成高维图像的功效,而无需诉诸自动编码器或专业体系结构。