XiaoMi-AI文件搜索系统
World File Search Systemformer
![[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习](/simg/4/4c1c4fb6909873de81a732fa517961b80c3e6721.webp)
[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习
持续学习（CL）构成了深层神经网络（DNN）的重大挑战，这是由于灾难性的忘记在引入新的任务时对先前获得的任务的灾难性忘记。人类在学习和适应新任务的情况下擅长而无需忘记，这是通过大脑中的融合学习系统归因于抽象体验的彩排的能力。这项研究旨在复制和验证Birt的发现，Birt的发现是一种新型方法，利用视觉变压器来增强表示练习的代表性，以进行持续学习。birt在视觉变压器的各个阶段引入了建设性噪声，并与工作模型的指数移动平均值（以减轻过度拟合并增强鲁棒性）相加。通过复制Birt的方法，我们试图验证其声称的改善，比传统的原始图像排练和香草代表对几个具有挑战性的CLENCHM分析进行排练。此外，这项研究还研究了Birt对自然和对抗性腐败的记忆效率和稳健性，旨在增强其实际适用性。复制将提供对原始论文中介绍的思想的可这种可总合性和普遍性的关键见解。
心脏病的混合CNN转化器模型...
摘要 - 这项研究提出了卷积神经网络（CNN）的混合模型和用于预测和诊断心脏病的变压器。基于CNN检测本地特征的强度以及变压器在感知全球关系方面的高能力，该模型能够从高维生的生活历史数据中成功检测心脏病的危险因素。实验结果表明，在精度，精度和回忆中，提出的模型胜过传统基准模型，例如支持向量机（SVM），卷积神经网络（CNN）和长短期记忆网络（LSTM）。这表明了其处理多维和非结构化数据的强大能力。为了验证模型的有效性，进行了某些部分的实验，实验的结果表明，同时使用CNN和变压器模块来增强模型很重要。本文还讨论了将来的研究中纳入其他特征和方法，以增强模型的性能并使其能够在不同条件下有效运行。本研究提出了使用机器学习预测心脏病的新颖见解和方法，尤其是在个性化医学和健康管理中。
将卷积层和Biforter网络与前向和反向传播培训
准确的分子特性预测对于药物发现和计算化学至关重要，促进了有希望的化合物并加速治疗性发育的鉴定。传统的机器学习以高维数据和手动特征工程的速度失败，而现有的深度学习方法可能不会捕获复杂的分子结构，而留下了研究差距。我们引入了深CBN，这是一个新型框架，旨在通过直接从原始数据中捕获复杂的分子表示来增强分子性质预测，从而提高了准确性和效率。我们的方法论结合了卷积神经网络（CNN）和biforter注意机制，同时采用了前向算法和反向传播。该模型分为三个阶段：（1）功能学习，使用CNN从微笑字符串中提取本地特征； （2）注意力完善，通过向前前锋算法增强的Biforter模块捕获全球环境； （3）预测子网调整，通过反向传播进行微调。对基准数据集的评估 - 包括TOX21，BBBP，SIDE，Clintox，Clintox，Bace，HIV和MUV，表明深-CBN达到了近乎完美的ROC-AUC分数，显着超过了最好的State-Art-Art方法。这些发现证明了其在捕获复杂分子模式的有效性，提供了一种强大的工具来加速药物发现过程。
bevgan：生成鱼眼交叉视图变形金刚
摘要：当前的停车援助和监测系统合成鸟类视图（BEV）图像，以提高驱动程序的可见度。这些BEV图像是使用称为“逆透视图”（IPM）的流行透视转换创建的，该转换将其投射到FishEye摄像头捕获的环绕视图图像的像素上。然而，IPM在准确地表示高度和接缝的对象方面面临挑战，因为它依赖于刚性几何变换，因此将预计的环绕视图缝合在一起。为了解决这些局限性，我们提出了Bevgan，这是一种新型的几何形状引导的条件生成副本网络（CGAN）模型，将多尺度鉴别器与基于变形金刚的生成器相结合，该生成器利用Fisheye摄像机校准和注意力机械机制，以隐含地模拟该视图之间的几个几何形式的变换。实验结果表明，在图像保真度和质量方面，Bevgan的表现优于IPM和最先进的跨视图生成方法。与IPM相比，我们报告了 + 6的改进。在PSNR上的2 dB，MS-SSIM上的 + 170％在描绘停车场和驾驶场景的合成数据集上进行评估。此外，还通过零射推理证明了Bevgan在现实世界中的图像上的概括能力。
ali-u-net：用于DNA序列多个序列比对的卷积变压器神经网。概念证明
我们报告了能够对齐多个核苷酸序列的卷积变压器神经网络。神经网络基于图像分割中常用的U-NET，我们采用了该神经网络将其用于将未对准序列转换为对齐序列的U-NET。对于对齐场景，我们的ALI-U-NET神经网络已经接受过培训，在大多数情况下，它比MAFFT，T-Coffee，Muscle和Clustal Omega等程序更准确，同时比单个CPU核心上的类似准确的程序快得多。的限制是，神经网络仍针对某些对齐问题进行了专门训练，并且对于以前从未见过的差距分布而表现不佳。此外，该算法当前与48×48或96×96核苷酸的固定尺寸比对窗口一起工作。在此阶段，我们将研究视为概念证明，确信目前的发现可以扩展到更大的一致性，并在不久的将来将其扩展到更复杂的一致性方案。
与变压器的全球和本地功能通信进行3D人姿势估计
最近，时空变压器结构已被广泛应用于3D人类姿势估计的问题，从而实现了最新的性能。这些方法中的许多方法都将单个框架中的单个关节视为令牌，并且在同一框架或相同轨迹的令牌上施加注意力。尽管这种结构可有效地计算单个关节之间的相关性，但它过于限制，因为诸如帧或轨迹之类的全局特征无法很好地传达。在本文中，我们建议Galformer解决此问题。Galformer由局部和全局变压器块组成，前者基于关节令牌，如先前的方法一样，而后者，即全局混合变压器，将所有关节混合在特定框架范围内的所有关节，以实施特征交换的电感偏见。在提出的方法中交替重复这两个变压器块，以计算关节，形状和轨迹之间的相关性。实验表明，与人类36M，MPI-INF-3DHP和HUMANEVA数据集的现有方法相比，我们的方法具有优越或至少具有竞争性能。
生物形态 - 虹膜 -
摘要 - 人类机器的相互作用正在在康复任务中获得关注，例如控制假肢或机器人手臂。手势识别表面肌电图（SEMG）信号是最有前途的方法之一，因为SEMG信号采集是无创的，并且与肌肉收缩直接相关。但是，对这些信号的分析仍然提出许多挑战，因为类似的手势会导致相似的肌肉收缩。因此，所得信号形状几乎相同，导致分类精度低。为了应对这一挑战，采用复杂的神经网络，需要大量的记忆足迹，消耗相对较高的能量并限制用于分类的设备的最大电池寿命。这项工作通过引入生物形态来解决此问题。这个新的基于注意力集中的档案的新家族可以采取最先进的性能，同时减少4.9倍的参数和操作的数量。此外，通过引入新的主体间预训练，我们将最佳生物样品的准确性提高了3.39％，可以匹配最先进的准确性，而无需任何额外的推理成本。在平行，超低功率（PULP）微控制器单元（MCU），Greenwaves GAP8上部署我们最佳性能的生物形态，我们的推断潜伏期和能量分别为2.72 ms和0.14 MJ，比以前是先前的现有的神经网络低8.0倍，同时只有94.2 kbs y 4.2 kb，而不是先前的现有的神经网络。索引术语 - 转化器，SEMG，手势识别，深度学习，嵌入式系统
Hybridna：一种混合变压器 - 马巴2远程DNA语言模型
变形金刚 - mamba2体系结构，将注意机制的优势与选择性状态空间模型无缝整合。这种杂种设计使杂种能够通过单核苷酸的分辨有效地处理长度高达131KB的DNA序列。Hybridna在从弯曲，GUE和LRB基准中策划的33个DNA了解数据集中实现了最新的性能，并在产生具有所需属性的合成顺式顺式调节元件（CRE）方面表现出了出色的能力。此外，我们表明Hybridna遵守预期的规律，并且随着模型尺度从300m到3B和7B参数，性能始终如一地提高。这些发现强调了Hybridna的多功能性及其推进DNA研究和应用的潜力，为理解和工程“生活语言”的创新铺平了道路。
e 2 CB2Former：CB2受体配体活性预测的效率和可解释的变压器
摘要 - CB2受体配体活性的准确预测是针对该受体的药物发现的关键，这与炎症，疼痛管理和神经退行性疾病有关。尽管传统的机器学习和深度学习技术已经显示出希望，但其有限的解释性仍然是理性药物设计的重要障碍。在这项工作中，我们介绍了CB2Former，该框架将图形卷积网络（GCN）与变压器体系结构相结合以预测CB2受体配体活动。通过利用变压器的自我发项机制以及GCN的结构学习能力，CB2Former不仅增强了预测性能，而且还提供了对受体活性基础分子特征的见解。我们针对各种基线模型进行基准测试，包括随机森林，支持矢量机，最近的邻居，梯度增强，极端梯度增强，多层感知器，卷积神经网络和重复的神经网络，并以0.685的0.685和0.685和0.67的0.67和0.67 and and and and and and and and and and and and and and and and 0.675，并表现出优势。此外，注意力重量分析揭示了影响CB2受体活动的关键分子子结构，强调了该模型作为可解释的AI的潜力。这种指出关键分子基序的能力可以简化虚拟筛选，指导铅优化和加快治疗性发育。总的来说，我们的结果展示了先进的AI方法（例如CB2Former）在提供准确的预测和可操作的分子见解方面的变革潜力，从而促进了药物发现中的跨学科合作和创新。