XiaoMi-AI文件搜索系统
World File Search SystemEncoders
使用纵向变分自动编码器对图像数据进行进展模型
摘要。疾病进展模型对于理解退行性疾病至关重要。混合效应模型一直用于模拟临床评估或从医学图像中提取的生物标志物，允许在任何时间点进行缺失数据的填补和预测。然而，这种进展模型很少用于整个医学图像。在这项工作中，变分自动编码器与时间线性混合效应模型相结合，以学习数据的潜在表示，使得各个轨迹随时间遵循直线，并以一些可解释的参数为特征。设计了一个蒙特卡罗估计器来迭代优化网络和统计模型。我们将此方法应用于合成数据集，以说明时间依赖性变化与受试者间变异性之间的分离，以及该方法的预测能力。然后，我们将其应用于来自阿尔茨海默病神经影像计划 (ADNI) 的 3D MRI 和 FDG-PET 数据，以恢复大脑结构和代谢改变的详细模式。
变形金刚和皮层波：编码器，用于跨时间在上下文中拉动
摘要：诸如ChatGpt和其他大型语言模型（LLM）等变压器网络的功能引起了世界的关注。其性能基础的至关重要的计算机制依赖于将完整的输入序列（例如，句子中的所有单词）转换为一个长的“编码向量”，该序列使变压器可以在自然序列中学习长距离的时间依赖性。具体来说，应用于此编码向量的“自我注意力”通过计算输入序列中的单词对之间的关联来增强变形金刚中的时间上下文。我们建议，跨单个皮质区域或以整个脑规模的多个区域传播的神经活动波可以实施类似的编码原理。通过将最新的输入历史记录到每个时间时刻，皮层波可以使时间上下文从感觉输入的序列中提取，这是变压器中使用的计算原理。
遗传算法对 Transformer 编码器的微调效果如何？第一种方法
遗传算法 (GA) 已在工程或医学等不同领域得到研究，以优化网络路由或医学图像分割等各种问题。此外，它们还被用于自动寻找深度神经网络的最佳架构。但是，据我们所知，它们尚未被用作 Transformer 模型的权重优化器。虽然梯度下降一直是这项任务的主要范例，但我们相信 GA 有其优势。在本文中，我们将证明尽管 GA 能够微调 Transformer 编码器，但它们的泛化能力比 Adam 差得多；然而，仔细观察，GA 从两个不同的预训练数据集中利用知识的能力超过了 Adam。
真空环境下的线性编码器
低释气性为防止真空室内压力急剧升高，真空兼容编码器不得释放大量气体。在超高真空中，每个部件都至关重要。例如，某些塑料会释出溶剂。这类塑料通常包含在电路板、粘合剂或涂层中，但在超高真空环境中部署的设备中应完全避免使用。这就是海德汉公司采用真空兼容电路板、粘合剂和涂层的原因。在超高真空环境中，必须将部件数量减至最少。例如，信号转换器应放在真空室外，这就是海德汉公司提供带有外部信号转换器的真空兼容编码器的原因。在仅需要高真空的应用中，这些设备也可放置在真空室内。
量子单向的承诺
尽管强化学习（RL）可以解决许多具有挑战性的顺序决策问题，但在重新任务中实现零拍摄的转移仍然是一个挑战。困难在于为术任务找到一个良好的表示形式，以便代理商了解其对以前看到的任务的方式。为了实现零拍传递，我们介绍了函数编码器，该函数编码器是一种表示算法的表示算法，该算法将函数代表为学习的非线性基函数的加权组合。通过使用函数编码器来表示奖励功能或过渡函数，代理就当前任务如何与通过相干向量代表的预先看到的任务相关联。因此，代理能够在运行时间之间实现在相关任务之间进行转移，而无需训练。，我们通过通过功能编码器任务表示形式来增强基本的RL算法来展示三个RL字段中最先进的数据效率，渐近性能和训练稳定性。
unibev：具有均匀BEV编码器的多模式3D对象检测，以抗缺失传感器方式
摘要 - 多传感器对象检测是自动驾驶中的一个积极研究主题，但是这种检测模型的鲁棒性针对缺失的传感器输入（缺少模态）（例如，由于突然的传感器故障）是一个关键问题，这是一个关键问题，这仍然不足。在这项工作中，我们提出了Unibev，这是一种端到端的多模式3D对象检测框架，旨在稳健性，以防止缺失模式：Unibev可以在Lidar Plus相机输入上运行，但也可以在无激光镜或仅相机输入的情况下操作。为了促进其检测器头以处理不同的输入组合，Unibev旨在从每种可用方式中创建良好的鸟类视图（BEV）特征图。与以前的基于BEV的多模式检测方法不同，所有传感器模态都遵循统一的AP-prach，以从原始传感器坐标系统重新示例到BEV功能。我们还研究了各种融合策略W.R.T.的鲁棒性缺少模态：常用的特征串联，但也通过通道平均，以及对平均定期通道归一化权重的加权平均化的概括。为了验证其有效性，我们将Unibev与所有传感器输入组合的Nuscenes的最新bevfusion和Metabev进行了比较。在这种情况下，对于所有输入组合，Unibev的性能比这些基准更好。一项消融研究表明，通过对常规的con依的加权平均融合的鲁棒性优势，并在每种模态的BEV编码器之间共享查询。我们的代码将在纸上接受时发布。
田纳根：纯变压器编码器为从头分子的生成提供了有效的离散gan
使用离散数据（例如简化的分子输入线 - 输入系统（Smiles）字符串）的从头生成的深层生成模型吸引了药物设计中的广泛关注。然而，训练不稳定经常困扰生成的广告网络（GAN），导致可能崩溃和低偏移性等概率。这项研究提出了一个纯粹的变压器编码器GAN（宽度）来解决这些问题。宽度的发电机和鉴别剂是变压器启动器的变体，并与加固学习（RL）结合使用，以生成具有所需化学特性的分子。此外，变体微笑的数据增强是为了学习微笑字符串的范围和语法的宽度培训。在方面，我们引入了一个增强的田纳州的变体，称为十（w）gan，其中包含了微型批处理歧视，并提高了生成分子的能力。对QM9和锌数据集的实验结果和消融研究表明，所提出的模型以计算有效的方式产生了具有所需化学性质的高效和新颖的分子。
de-sate：deno deNosing自我发挥的变压器编码器的锂离子电池健康预后
摘要 - 锂离子（Li-ion）电池的使用已在各个行业中广泛普及，从供电便携式电子设备到推动电动汽车和支持储能系统。锂离子电池可靠性中的一个核心挑战在于准确预测其剩余使用寿命（RUL），这是积极维护和预测分析的关键措施。本研究提出了一种新颖的方法，该方法利用了多个Denoising模块的功能，每个模块都训练了解决电池数据中通常遇到的特定类型的噪声。具体而言，使用Denoising自动编码器和小波Denoiser用于生成编码/分解表示形式，随后通过专用的自我发明变压器编码来处理。在对NASA和CALCE数据进行了广泛的实验之后，在一组不同的噪声模式下估算了一系列健康指标值。这些数据上报告的错误指标与最近文献中报道的最先进的相当或更好。索引术语 - 验证和健康管理，剩余使用寿命，自动编码器，锂离子电池，变压器，电池健康
语言量化自动编码器
在扩大大型语言模型方面的最新进展表现出令人印象深刻的能力，可以在各种自然语言任务中进行几次学习。但是，一个关键的限制是，这些语言模型从根本上缺乏视觉感知的基础 - 扩展到现实世界任务所需的关键属性，例如在视觉问题上的答案和机器人技术中。虽然先前的作品在很大程度上通过预处理或微调将图像与文本联系在一起，但由于结合了策划的大量数据集和较大的计算负担，学习对齐方式通常是昂贵的。In order to resolve these limitations, we propose a simple yet effective approach called L anguage- Q uantized A uto E ncoder (LQAE), a modification of VQ-VAE that learns to align text-image data in an unsupervised manner by leveraging pretrained language model denoisers ( e .g .bert）。我们的主要思想是通过使用验证的语言代码簿直接量化图像嵌入来编码图像作为文本令牌的序列。然后，我们将量化嵌入的蒙版版本送入BERT，以重建原始输入。这样做，LQAE学会了用相似的文本令牌表示相似的图像，从而在不使用对齐的文本图像对的情况下对齐这两种方式。我们向LQAE显示了学习文本对准图像令牌，这些图像令牌可以通过大型语言模型启用几示多式模式学习，在诸如图像分类和VQA等任务中的基线方法优于基线方法，同时需要1-10张图像 - text Pairs 1。
有效的U-NET体系结构，具有多个编码器和注意机制解码器的脑肿瘤分割
摘要：大脑是人类控制和交流的中心。因此，保护它并为其提供理想条件非常重要。脑癌仍然是世界上死亡的主要原因之一，并且检测恶性脑肿瘤是医疗图像分割的优先事项。与正常组织相比，脑肿瘤分割任务旨在鉴定属于异常区域的像素。深度学习近年来已经解决了解决这个问题的力量，尤其是类似U-Net的架构。在本文中，我们提出了一个有效的U-NET架构，其中包含三个不同的编码器：VGG-19，Resnet50和MobilenetV2。这是基于转移学习，然后是应用于每个编码器的双向特征金字塔网络，以获得更多的空间相关特征。然后，我们融合了从每个网络的输出中提取的特征图，并通过注意机制将它们合并到我们的解码器中。在Brats 2020数据集上评估了该方法，以分割不同类型的肿瘤，结果在骰子相似性方面表现出良好的性能，整个肿瘤，核心肿瘤和增强肿瘤的系数为0.8741、0.8069和0.7033。