XiaoMi-AI文件搜索系统
World File Search Systemtransformers
多元时间序列生成建模和预测的变异自动编码器和变压器：涡旋诱导振动的应用
本研究采用数据驱动的方法来研究物理系统振动，重点关注两个主要方面：使用变异自动编码器（VAE）生成物理数据（即数据“相似”与通过现实世界过程获得的使用变压器，以便使用体内稀疏传感器（观察者）中的信息在时间空间中连续预测柔性身体非平稳振动（2D时间序）。 VAE经过从作者进行的实验中收集的涡旋诱导振动（VIV）数据进行训练，然后负责生成类似于实验的合成VIV数据。 然后使用合成数据来训练一个变压器结构，其目标是使用稀疏观测值不断预测时间空间的振动。 针对实际实验测试了变压器（从未见过实际数据），并将其性能与对实际数据训练的相同体系结构进行了比较。 这样做，VAE的能力生成保留其培训数据内在属性的数据（即） 评估身体）。 最终提出了变压器体系结构，LSTM和DNN的预测性能之间的比较。使用变压器，以便使用体内稀疏传感器（观察者）中的信息在时间空间中连续预测柔性身体非平稳振动（2D时间序）。VAE经过从作者进行的实验中收集的涡旋诱导振动（VIV）数据进行训练，然后负责生成类似于实验的合成VIV数据。然后使用合成数据来训练一个变压器结构，其目标是使用稀疏观测值不断预测时间空间的振动。针对实际实验测试了变压器（从未见过实际数据），并将其性能与对实际数据训练的相同体系结构进行了比较。这样做，VAE的能力生成保留其培训数据内在属性的数据（即身体）。最终提出了变压器体系结构，LSTM和DNN的预测性能之间的比较。
高程：利用元素的产品，用于设计高效且轻巧的视觉变压器
我们引入了Elevit，这是一种新颖的视觉变压器，可用于图像处理任务。与可持续计算的趋势保持一致，高架可以解决对轻质和快速模型的需求，而不必通过主要使用元素智能产品而不是传统的矩阵乘法来重新定义多头注意机制，而不是损害多头注意机制。这种修改保留了敏捷功能，同时在卷积投影框架内启用多个多头大小块，从而导致具有较少参数和提高训练和推理效率的模型，尤其是对于模仿者复杂的数据集。针对最先进的视觉变形金刚的基准测试在低数据制度数据集（如CIFAR-10，CIFAR-100和TINY-IMAGENET-200）上展示了竞争性能。
关于有效视觉变压器的调查
摘要 - Vision Transformer（VIT）架构越来越流行，并广泛用于处理计算机视觉应用。他们的主要特征是通过自我发挥机制提取全球信息的能力，表现优于早期的卷积神经网络。但是，VIT部署和性能随着它们的规模，可训练的参数数量和操作而稳步增长。此外，自我注意力的计算和记忆成本随着图像分辨率四次增加。一般而言，由于许多硬件和环境限制（例如处理和计算功能），在现实世界应用中使用这些架构是一项挑战。因此，本调查研究了最有效的方法，以确保亚最佳估计性能。更详细地，将分析四个高效类别：紧凑的体系结构，修剪，知识蒸馏和量化策略。此外，已经引入了一种称为高效错误率的新指标，以便在推理时间（例如参数，钻头，拖船和模型大小）时对模型的功能进行标准化和比较模型的功能。总而言之，本文首先数学上定义了用于提高视觉变压器，描述和讨论最新方法的策略，并在不同的应用程序场景上分析其性能。在本文结束时，我们还讨论了开放的挑战和有希望的研究方向。
可以捕获空间关系
对象之间的空间关系代表关键场景信息，以使Humans理解和与世界互动。研究熟悉计算机视觉系统识别物理扎根的空间关系的能力，我们首先提出了确切的关系定义，以允许始终如一地注释基准数据集。尽管这项任务显然与识别文献中其他任务相关的简单性，但我们观察到现有方法在此基准上的表现较差。我们提出了新的方法，利用了变形金刚的远程注意力能力，并评估关键设计原理。我们确定了一个简单的“相关”体系结构，并证明它的表现优于所有当前方法。据我们所知，这是第一种令人信服的在野外环境中空间关系预测的幼稚基线的方法。代码和数据集可在https://sites.google.com/view/spatial-realation中找到。
验证变形金刚在现实世界医疗保健中从电子健康记录中重新编写文本
摘要 - 在医疗保健记录中保护患者隐私是重中之重，并且修订是一种常用的方法，用于模糊文本中直接识别信息。基于规则的方法已被广泛使用，但是它们的精度通常较低，导致文本过度偿还，并且常常不足以适应不可遵循的人民健康信息的非标准化或非常规结构。深度学习技术已成为一种有前途的解决方案，但由于在不同部门，医院和国家 /地区的患者记录结构和语言的差异，在现实世界中实施它们引起了挑战。在这项研究中，我们介绍了基于变压器的模型Anoncat，以及如何在现实世界中将其部署在现实医疗保健中的蓝图。anoncat通过一个过程进行了培训，该过程涉及来自三家具有不同电子健康记录系统和3116个文档的英国医院的手动注释的现实文档的修订。该模型在所有三家医院中均达到了高性能，召回0.99、0.99和0.96。我们的发现证明了深度学习技术提高全球医疗保健数据中修复的效率和准确性的潜力，并强调了不仅使用这些模型的建筑工作流程的重要性，但也能够不断微调和审核这些算法的性能，以确保在现实世界中持续有效性。这种方法为通过微调和
变压器中酯油的测试指南 - 第2部分
氧化仅发生在暴露于空气的液体表面上，因此，薄膜暴露比变压器水箱中的液体更为重要。建议最大程度地减少天然酯薄膜表面的时间和温度，包括空气，包括未座的核心和线圈，散热器，热交换器，软管，配件等。例如，如果将其表面暴露于氧气中，则可能会降低纤维素表面的蠕变介电介电强度，从而导致足够的时间引起聚合。不同类型的天然酯制剂可以根据基本油的类型以及氧化抑制剂的类型和数量具有不同的建议空气暴露时间限制。
生成训练的转换器-GPT-and-Space-Health- ...
《星球大战》（1977年）的Droid C-3PO引入了乘客的机器人调酒师（2016年），无数的科幻电影已经设想了一个具有人工智能（AI）的自动化，基于机器的程序（AI）能够对新颖的场景做出反应并提供真实生活的能力。这些科幻电影中的几部还包括提供医学指导的自动化程序，尤其是在没有活着的医学专家的情况下。随着AI的出现，我们正在接近某些AI框架可能使这一科幻概念成为更接近现实的时代。预计宇航员远离地球的空间探索，并且在较长的沟通延长的持续时间内，这些AI框架可以在地球上训练以提供实时答案。这种新兴技术可能有助于急性医疗紧急情况，尤其是在严峻而遥远的空间环境中。在本手稿中，我们概述了生成的预训练的变压器（GPT）技术，一种快速新兴的AI技术，以及这种技术对太空健康的影响，考虑因素和局限性。最近，Chatgpt（Open AI；美国加利福尼亚州旧金山）在2022年11月下旬引入后，迅速获得了受欢迎程度，这要归功于其彻底的回应和类似人类的写作技巧。1个CHAT GPT体系结构或大型语言模型（LLM）涉及一个变压器神经网络，该网络从深度学习技术，自然语言处理（NLP）和自我注意力中生成类似人类的文本
螺栓：fused窗口变压器用于fMRI时间序列分析
深度学习模型在分析高维功能MRI（fMRI）数据的分析方面已使性能飞跃。然而，许多以前的方法对各种时间尺度的上下文表示次优敏感。在这里，我们提出了螺栓，这是一种血氧级依赖性变压器模型，用于分析多变量fMRI时间序列。螺栓利用一系列具有新型融合窗户注意机制的变压器编码器。编码是在时间序列中的时间段窗口上执行的，以捕获本地表示。为了暂时整合信息，在每个窗口中的基本令牌和来自相邻窗口的边缘令牌之间计算跨窗口的注意力。逐渐从局部到全球表示，窗口重叠的程度以及在整个级联反应中的数量逐渐增加。最后，一种新型的跨窗口正规化用于整个时间序列的高级分类特征。大规模公共数据集的全面实验证明了螺栓对最新方法的出色性能。此外，解释性分析是为了确定有助于建模决策最大程度贡献的具有里程碑意义的时间点和区域，证实了文献中突出的神经科学发现。
既见森林又见树木：使用 transformer 构建个体和集体动态的表示
复杂的时变系统通常通过从单个组件的动态中抽象出来，从一开始就构建种群水平动态模型来研究。然而，在构建种群水平描述时，很容易忽略每个个体以及每个个体对大局的贡献。在本文中，我们提出了一种新颖的 Transformer 架构，用于从时变数据中学习，该架构构建了个体和集体种群动态的描述。我们不是一开始就将所有数据组合到模型中，而是开发了一种可分离的架构，该架构首先对单个时间序列进行操作，然后再将它们传递下去；这会产生置换不变性，可用于在不同大小和顺序的系统之间进行传输。在证明我们的模型可以成功恢复多体系统中的复杂相互作用和动态之后，我们将我们的方法应用于神经系统中的神经元群体。在神经活动数据集上，我们表明我们的多尺度 Transformer 不仅具有强大的解码性能，而且还提供了令人印象深刻的传输性能。我们的结果表明，有可能从一种动物大脑中的神经元中学习，并将模型转移到另一种动物大脑中的神经元上，并且可以解释不同集合和动物之间的神经元对应关系。这一发现开辟了一条从大量神经元集合中进行解码和表示的新途径。
使用 transformers 进行无监督脑成像 3D 异常检测和分割
病理性脑外观可能非常多样化，以至于只能理解为异常，这些异常由其与正常的偏差而不是任何特定的病理特征集来定义。在医学成像中最困难的任务之一中，检测此类异常需要正常脑模型，该模型将紧凑性与表征其结构组织的复杂、长程相互作用的表达性相结合。这些要求是 Transformer 比其他当前候选架构更有潜力满足的，但它们的应用受到对数据和计算资源的需求的限制。在这里，我们将矢量量化变分自动编码器的潜在表示与一组自回归 Transformer 相结合，以实现无监督异常检测和分割，这些异常由与健康脑成像数据的偏差定义，在相对适中的数据范围内以较低的计算成本实现。我们在一系列涉及合成和真实病理病变的 2D 和 3D 数据的实验中将我们的方法与当前最先进的方法进行了比较。在真实病变中，我们利用来自英国生物库的 15,000 名放射学正常参与者训练我们的模型，并在四种不同的脑 MR 数据集上评估其性能，这些数据集包括小血管疾病、脱髓鞘病变和肿瘤。我们展示了卓越的异常检测性能，无论是图像方面还是像素/体素方面，都无需后处理即可实现。这些结果引起了人们对 transformers 在这项最具挑战性的成像任务中的潜力的关注。© 2022 作者。由 Elsevier BV 出版 这是一篇根据 CC BY 许可开放获取的文章（http://creativecommons.org/licenses/by/4.0/）