XiaoMi-AI文件搜索系统
World File Search SystemTransformers
深度学习高级主题：Transformers 048010
英文教学大纲：Transformer 是一种用于高效表示时间序列的网络架构。它在 ChatGPT 等语言模型的成功中发挥了重要作用。本课程将首先详细介绍 Transformer 和 Transformer 模型开发背后的基本概念。然后，我们将深入研究该领域最重要的理论和实践研究。最后，我们将介绍 Transformer 如何应用于自然语言处理 (NLP)、语音处理和计算机视觉。在课程的第二部分，学生将有机会展示从该领域选出的论文。学习成果：成功完成课程的学生将：
Vision Transformers和Bi-LSTM用于3D MRI
摘要 - 阿尔茨海默氏症是一种随着时间的流逝而恶化并影响记忆，思维和行为的脑部疾病。阿尔茨海默氏病（AD）如果被诊断出来，可以治疗和治疗，从而减慢症状的进展并改善生活质量。在这项研究中，我们建议使用视觉变压器（VIT）和BI-LSTM处理MRI图像以诊断阿尔茨海默氏病。我们使用VIT从MRI提取特征，然后将其映射到特征序列。然后，我们使用BI-LSTM序列建模来保持相关特征之间的相互依赖性。此外，我们使用阿尔茨海默氏病神经成像倡议（ADNI）的数据评估了AD患者二元分类模型的性能。最后，我们对文献中其他深度学习模型进行了评估。所提出的方法在准确性，精度，F得分和回忆方面表现良好，以诊断AD。
使用 Vision Transformers 增强 SEED-IV 数据集上的情绪分析：一项比较研究
本文介绍了一种利用深度学习模型（特别是视觉变换器 (ViT) 模型）进行情绪分类的新方法，用于分析脑电图 (EEG) 信号。我们的研究实施了一种双特征提取方法，利用功率谱密度和差分熵来分析 SEED IV 数据集。这种方法对四种不同的情绪状态进行了详细分类。最初设计用于图像处理的 ViT 模型已成功应用于 EEG 信号分析。它表现出色，测试准确率达到 99.02%，方差很小。值得注意的是，它在这方面的表现优于 GRU、LSTM 和 CNN 等传统模型。我们的研究结果表明，ViT 模型在准确识别 EEG 数据中存在的复杂模式方面具有很高的有效性。具体而言，该模型的准确率和召回率超过 98%，而 F1 分数估计约为 98.9%。该研究的结果不仅证明了基于变压器的模型在分析认知状态方面的有效性，而且还表明它们在改善人机交互系统方面具有巨大的潜力。
边缘视觉变压器：对模型压缩和加速策略的全面调查
近年来，视觉变形金刚（VIT）已成为计算机视觉任务（例如图像分类，对象检测和分割）的强大而有前途的技术。与依赖层次特征提取的卷积神经网络（CNN）不同，VIT将图像视为斑块和杠杆自我发项机制的序列。但是，它们的高计算复杂性和内存要求对资源受限的边缘设备部署构成重大挑战。为了解决这些局限性，广泛的研究集中在模型压缩技术和硬件感知加速策略上。尽管如此，一项全面的审查系统地将这些技术及其在精确，效率和硬件适应性方面进行了对边缘部署的适应性的权衡。这项调查通过提供模型压缩技术的结构化分析，用于推理边缘的软件工具以及VIT的硬件加速策略来弥合此差距。我们讨论了它们对准确性，效率和硬件适应性的影响，突出了关键的挑战和新兴的研究方案，以推动Edge平台上的VIT部署，包括图形处理单元（GPU），张量处理单元（TPU）（TPU）和现场编程的门阵列（FPGAS）。目标是通过当代指南，以优化VIT，以在边缘设备上进行有效部署，以激发进一步的研究。
生物学启发的认知体系结构和生成的预训练的变形金刚是朋友或敌人？
bica*ai是一个悠久的长期研发企业，旨在创建旨在模仿人类水平人工智能的计算体系结构。最近，在其领域非常出乎意料的是，似乎是另一个竞争者 - 一种基于GPT的AI工具，旨在模仿用户友好的自然人类语言的人类计算机对话。正如其设计师所声称的那样，该设备展示了一般AI的迹象。在激动人心而快乐的接待之后，很明显，新竞争对手无法履行其预期的承诺 - 它会返回错误和误导性的回应，欺骗和虚假信息。该问题引发了一波公共反对意见，并要求停止并防止进一步的设备部署。另一方面，设备设计人员声称不完美是暂时的，很快该产品将富裕其备用的品质。不，这永远不会发生！本文的目的是说明最初基于GPT的AI工具设计的方法最初是有缺陷，错误和不合适的，因为它忽略了智能和信息专业人士的基本定义。该论文加入了普遍的意识，即对基于GPT的AI工具的不受限制和自由散布对人类社会构成威胁，类似于粗心的生物武器研究的威胁。
解决电力变压器的严重短缺，以确保美国电网的可靠性
电力对现代生活至关重要，变形金刚是稳定且有弹性的电网的关键组成部分，反过来又是美国（美国）基础设施和经济福祉的关键。变形金刚更改电力的电压，以使电力从发电源到消耗电力的最终用户的有效流动。在Covid-19大流行期间，变压器制造业是严重供应链中断的行业之一，这些干扰的影响仅在随后几年变得更加明显。目前，与2020年仅几个月的等待相比，订购变压器可能需要等待2至4 1年才能订购的电力或发电机开发人员。2美国的一个大型电力变压器制造工厂披露了新变压器订单的5年等待时间。
边缘视觉变压器：对模型压缩和加速策略的全面调查
近年来，视觉变形金刚（VIT）已成为计算机视觉任务（例如图像分类，对象检测和分割）的强大而有前途的技术。与依赖层次特征提取的卷积神经网络（CNN）不同，VIT将图像视为斑块和杠杆自我发项机制的序列。但是，它们的高计算复杂性和内存要求对资源受限的边缘设备部署构成重大挑战。为了解决这些局限性，广泛的研究集中在模型压缩技术和硬件感知加速策略上。尽管如此，一项全面的审查系统地将这些技术及其在精确，效率和硬件适应性方面进行了对边缘部署的适应性的权衡。这项调查通过提供模型压缩技术的结构化分析，用于推理边缘的软件工具以及VIT的硬件加速策略来弥合此差距。我们讨论了它们对准确性，效率和硬件适应性的影响，突出了关键的挑战和新兴的研究方案，以推动Edge平台上的VIT部署，包括图形处理单元（GPU），张量处理单元（TPU）（TPU）和现场编程的门阵列（FPGAS）。目标是通过当代指南，以优化VIT，以在边缘设备上进行有效部署，以激发进一步的研究。
既见森林又见树木：使用 transformer 构建个体和集体动态的表示
复杂的时变系统通常通过从单个组件的动态中抽象出来，从一开始就构建种群水平动态模型来研究。然而，在构建种群水平描述时，很容易忽略每个个体以及每个个体对大局的贡献。在本文中，我们提出了一种新颖的 Transformer 架构，用于从时变数据中学习，该架构构建了个体和集体种群动态的描述。我们不是一开始就将所有数据组合到模型中，而是开发了一种可分离的架构，该架构首先对单个时间序列进行操作，然后再将它们传递下去；这会产生置换不变性，可用于在不同大小和顺序的系统之间进行传输。在证明我们的模型可以成功恢复多体系统中的复杂相互作用和动态之后，我们将我们的方法应用于神经系统中的神经元群体。在神经活动数据集上，我们表明我们的多尺度 Transformer 不仅具有强大的解码性能，而且还提供了令人印象深刻的传输性能。我们的结果表明，有可能从一种动物大脑中的神经元中学习，并将模型转移到另一种动物大脑中的神经元上，并且可以解释不同集合和动物之间的神经元对应关系。这一发现开辟了一条从大量神经元集合中进行解码和表示的新途径。
使用 transformers 根据 DNA 序列和转录后信息预测基因表达水平
背景与目标：近年来，由于基因表达水平的潜在临床应用，预测基因表达水平至关重要。在此背景下，Xpresso 和其他基于卷积神经网络和 Transformer 的方法首次被提出用于此目的。然而，所有这些方法都使用标准的独热编码算法嵌入数据，从而产生非常稀疏的矩阵。此外，该模型没有考虑基因表达过程中最重要的转录后调控过程。方法：本文提出了 Transformer DeepLncLoc，一种通过处理基因启动子序列来预测 mRNA 丰度（即基因表达水平）的新方法，将该问题作为回归任务进行管理。该模型利用基于 Transformer 的架构，引入 DeepLncLoc 方法执行数据嵌入。由于 DeepLncloc 基于 word2vec 算法，因此它避免了稀疏矩阵问题。结果：该模型包含了与 mRNA 稳定性和转录因子相关的转录后信息，与最先进的方法相比，其性能显著提高。Transformer DeepLncLoc 的 R 2 评估指标达到 0.76，而 Xpresso 的 R 2 评估指标为 0.74。结论：Transformer 方法中的多头注意力机制适用于对 DNA 位置之间的相互作用进行建模，从而克服了循环模型。最后，在管道中整合转录因子数据可显著提高预测能力。
Codewithzichao@DravidianLangTech-EACL2021：探索多语言 Transformers 以对混合代码文本进行攻击性语言识别
攻击性语言识别是近年来受到越来越多关注的研究领域。特别是随着社交媒体平台的兴起，识别混合有代码的社交媒体文本中的攻击性语言至关重要。在社交媒体文本中识别攻击性语言是一项具有挑战性的任务。此外，在英语、希腊语或西班牙语等语言中已经做了大量攻击性语言识别工作（Zampieri 等人，2019 年；Pitenis 等人，2020 年；Ranasinghe 和 Zampieri，2020 年），但对于达罗毗荼语混合代码文本的攻击性语言识别工作却很少。达罗毗荼语（泰米尔语-英语、马拉雅拉姆语-英语和卡纳达语-英语）攻击性语言识别共享任务改变了这一状况。这项共享任务的目标是识别德拉威语混合代码文本中的攻击性语言。混合代码文本是从社交媒体平台收集的。这是一项评论或帖子级别的多语言分类任务，给出混合代码的泰米尔语-英语、马拉雅拉姆语-英语的评论或帖子