XiaoMi-AI文件搜索系统
World File Search SystemTransformers
ConBERT：用于电子病历手术报告标准化的双向变压器的连接
摘要：本手术报告记录了手术的细节。对以自由文本编写的手术报告的医学术语进行标准化对于开展医学研究和建立保险系统具有重要意义，因为它可以准确地共享治疗信息。但是，手术报告的标准化是一项劳动密集型任务，存在导致错误的风险。我们提出了一种来自 Transformer 的双向编码器表示的连接 (ConBERT) 模型，用于使用自由文本中记录的手术报告和诊断来预测国际疾病分类 9 代码，以自动标准化手术报告。我们比较了 BERT 和字符 BERT 的预训练模型，并通过连接每个模型的组合创建了一个新模型。所提出的 ConBERT 模型的微 AP 得分为 0.7672、F1 得分为 0.7415、AUC 为 0.9842。此外，我们还开发了一个基于 Web 的应用程序来展示我们模型的性能并使其可供公众访问。
视觉转换器可实现快速且稳健的加速 MRI
Vision Transformer 在包含数百万张图像的数据集上进行训练或预训练后，可以为图像分类任务提供出色的准确率，并且与卷积神经网络相比可以节省计算资源。受潜在准确率提升和计算资源节省的驱动，我们研究了用于加速磁共振图像重建的 Vision Transformer。我们表明，当在 fastMRI 数据集（一种仅包含数千张图像的流行加速 MRI 数据集）上进行训练时，针对图像重建量身定制的 Vision Transformer 可实现与 U-net 相当的重建准确率，同时享受更高的吞吐量和更少的内存消耗。此外，由于众所周知 Transformer 在进行大规模预训练时表现最佳，但 MRI 数据的获取成本高昂，我们提出了一种简单而有效的预训练方法，它完全依赖于大型自然图像数据集，例如 ImageNet。我们表明，对 Vision Transformer 进行预训练可显著提高加速 MRI 的训练数据效率，并增强对解剖结构变化的鲁棒性。在仅有 100 张 MRI 训练图像可用的条件下，预训练的 Vision Transformer 实现的图像质量明显优于预训练的卷积网络和当前最先进的技术。我们的代码可在 https://github.com/MLI-lab/transformers_for_imaging 上找到。关键词：加速 MRI、Transformer、预训练、图像重建
用于机器学习的变压器；深度潜水
名称：Kamath，Uday，作者。标题：用于机器学习的变压器：深度潜水 / Uday Kamath，肯尼斯·L·格雷厄姆（Kenneth L.描述：第一版。| Boca Raton：CRC出版社，2022。|包括书目参考和索引。标识符：LCCN 2021059529 | ISBN 9780367771652（精装本）| ISBN 9780367767341（平装）| ISBN 9781003170082（电子书）主题：LCSH：神经网络（计算机科学）。|计算智能。|机器学习。分类：LCC QA76.87 .K354 2022 | DDC 006.3/2--DC23/ENG/20220218 LC记录可从https://lccn.loc.gov/2021059529
电力线通信 (PLC) 变压器
1.8 至 86MHz (UTB02157S), 1.8 至 30MHz (UTB02201S, UTB02202S)。7. 专为芯片组应用而设计：UT11348S-A 和 UT11387S 用于 Qualcomm 的 AR7420，UT11451S 用于 MTK 的 MSE102x，UTB02201S 和 UTB02202S 用于 Qualcomm 的 QCA7000，UTB02212S 用于 QCA7500 和 QCA6410，UTB02157S 用于 Broadcom 的 BCM60333 和 BCM60500，UT11483S/84S/85S 用于 Qualcomm 的 QCA700x、Intellon 的 INT5500/INT1200 和 STMicro 的 ST2100。
使用 Transformer 进行药物靶标结合亲和力预测
摘要 — 药物发现通常很困难、昂贵且成功率低。药物发现和药物再利用的早期阶段的重要步骤之一是确定药物-靶标相互作用。结合亲和力表示药物-靶标对相互作用的强度。在这方面，已经开发了几种计算方法来预测药物-靶标结合亲和力，并且这些模型的输入表示已被证明在提高准确性方面非常有效。虽然最近的模型比第一个模型更准确地预测结合亲和力，但它们需要靶蛋白的结构。尽管人们对蛋白质结构有浓厚的兴趣，但已知序列和实验确定的结构之间存在巨大差距。因此，找到合适的药物和蛋白质序列表示对于药物-靶标结合亲和力预测至关重要。在本文中，我们的主要目标是评估药物和蛋白质序列表示以改进药物-靶标结合亲和力预测。
理解 Transformer
摘要：本文是“了解变压器”应用笔记系列的第二部分。虽然第一部分介绍了变压器的基本参数，但本文将简要介绍这些参数在为不同应用选择变压器类型过程中的重要作用，以及这些参数的存在如何导致变压器的频率行为不理想。本文将更详细地讨论频率行为（电压增益和相移）以及如何在实验室中使用频率响应分析 (FRA) 对其进行测量。此外，还将使用包含所有参数的非理想模型进行模拟，以说明变压器的频率行为。
视觉变换器看起来是否像卷积神经网络？
到目前为止，卷积神经网络 (CNN) 一直是视觉数据的实际模型。最近的研究表明，(Vision) Transformer 模型 (ViT) 可以在图像分类任务上实现相当甚至更优异的性能。这就提出了一个核心问题：Vision Transformer 如何解决这些任务？它们是像卷积网络一样工作，还是学习完全不同的视觉表示？通过分析图像分类基准测试中 ViT 和 CNN 的内部表示结构，我们发现这两种架构之间存在显著差异，例如 ViT 在所有层上都有更统一的表示。我们探索了这些差异是如何产生的，发现了自注意力机制发挥的关键作用，它可以实现全局信息的早期聚合，而 ViT 残差连接则可以将特征从较低层强烈传播到较高层。我们研究了对空间定位的影响，证明 ViT 成功地保留了输入的空间信息，并且不同分类方法的效果显著。最后，我们研究（预训练）数据集规模对中间特征和迁移学习的影响，并最后讨论与 MLP-Mixer 等新架构的连接。
反向功率流、其对变压器的影响以及潜在解决方案
最大功率传输的幅度由端电压 V1 和 V2 定义。此外，端电压 V1 和 V2 在幅度和相位角 ρ 方面的差异表示变压器中的电压降，该电压降是通过短路阻抗 %Z 和负载电流得出的。考虑该图的负载端，以单位功率因数 (upf) 向电网抽取电流或注入电流。
使用变压器无监督的大脑异常检测和分割
病理脑外观可能是如此异质，以至于仅作为异常而言可以理解，这是由于它们偏离正常性而不是任何特定的病理特征而定义的。在医学成像中最艰巨的任务中，检测这种异常需要正常大脑的模型，将紧凑性与复杂的，远程相互作用的表达性结合在一起，以表征其结构组织。这些要求是变形金刚比其他候选候选体系结构具有更大的满足潜力，但是它们对数据和计算资源的要求抑制了它们的应用。在这里，我们将矢量定量的变异自动编码器的潜在表示与自动回应变压器的集合结合在一起，以在相对适度的数据制度内以低计算成本以低计算成本实现的健康脑成像数据来偏离健康的脑成像数据，从而实现无监督的异常检测和分割定义。我们将我们的方法与涉及合成和实际病理病变的一系列实验中的当前最新方法进行了比较。在实际病变上，我们对来自英国生物库的15,000名放射线正常参与者进行训练，并评估四个不同的脑MR数据集，患有小血管疾病，脱髓鞘病变和肿瘤。我们在图像和像素方面都表现出了出色的异常检测性能，而无需后处理就可以实现。这些结果引起了对变压器在这项最具挑战性的成像任务中潜力的关注。关键字：变压器，无监督的异常分割，异常检测，neu-Roimaging，vector量化变异自动编码器
bendr：使用变形金刚和对比的自我监督学习任务来从大量的脑电图数据中学习
用于大脑计算机界面（BCI）分类的深神经网络（DNN）通常会在跨多种环境进行训练时学习一般特征，因此可以将这些特征调整为特定环境。尽管在这种方法中找到了一些成功，但我们建议这种解释是有限的，替代方案将更好地利用新（公开）可用的大规模脑电图（EEG）数据集。我们考虑如何适应用于语言建模（LM）的技术和体系结构，这些技术和架构似乎能够以相同的静脉为DNN摄取大量数据来开发脑电图建模。我们特别适应了一种有效用于自动语音识别的方法，该方法（与LMS）类似地使用自我监督的训练目标来学习原始数据信号的压缩表示。适应脑电图后，我们发现单个预训练的模型能够建模具有不同硬件记录的完全新颖的RAW EEG序列，并且不同的主题执行不同的任务。此外，该模型的内部表示和整个体系结构都可以对各种下游BCI和EEG分类任务进行精确调整，在更多的任务（睡眠阶段分类）中表现优于先前的工作。