XiaoMi-AI文件搜索系统
World File Search SystemRNNS
使用神经数据转换器进行神经群体活动的表征学习
理论上，神经群体活动反映了潜在的动态结构。可以使用具有显式动态的状态空间模型（例如基于循环神经网络 (RNN) 的模型）准确捕获此结构。但是，使用循环来显式建模动态需要对数据进行顺序处理，从而减慢脑机接口等实时应用的速度。在这里，我们介绍了一种非循环替代方案——神经数据转换器 (NDT)。我们通过将 NDT 应用于具有已知动态的合成数据集和来自猴子运动皮层的数据（在由 RNN 很好地建模的伸手任务期间），测试了 NDT 捕获自主动态系统的能力。NDT 可以对这些数据集以及最先进的循环模型进行建模。此外，它的非循环性可以实现 3.9 毫秒的推理，远低于实时应用的循环时间，并且比猴子伸手数据集上的循环基线快 6 倍以上。这些结果表明，明确的动力学模型对于建模自主神经群体动力学来说不是必需的。代码：github.com/snel-repo/neural-data-transformers。
电子系统中故障预测的基于自发的时间点过程模型：提高准确性和解释性
现有的用于预测电子设备故障率的模型通常会显示出差异，与实际测量相比，稳定时期的预测值较高，在流失期间的值较低。尽管它们经常用于模拟时间序列过程中的强度函数，但复发性神经网络（RNN）却难以捕获事件序列之间的长距离依赖性。此外，强度函数的固定参数形式可以限制模型的概括。为了解决这些缺点，提出了一种新颖的方法，利用注意机制在不依赖强度函数的情况下生成时间点过程。为了量化模型和现实分布之间的差异，模型使用Wasserstein距离来创建损失函数。此外，为了提高可解释性和概括性，使用一种自动机制来评估过去事件对当前发生的影响。比较测试表明，这种方法的表现超过了可能的可能性模型，而没有先前了解强度功能和类似RNN的生成模型，从而将相对错误率降低了3.59％，并将错误预测准确性提高了3.91％。
深度学习在心电图心律失常检测和分类中的应用：2017 年至 2023 年进展概述
心血管疾病是全球死亡的主要原因。心电图 (ECG) 仍然是识别心律不齐的基准方法。自动检测 ECG 中的异常有助于早期发现、诊断和预防心血管疾病。深度学习 (DL) 架构已成功用于心律失常检测和分类，并且比传统的浅层机器学习 (ML) 方法具有更优的性能。本调查对 2017 年至 2023 年期间用于 ECG 心律失常检测且表现出优异性能的 DL 架构进行了分类和比较。回顾了不同的 DL 模型，例如卷积神经网络 (CNN)、多层感知器 (MLP)、Transformers 和循环神经网络 (RNN)，并总结了它们的有效性。本调查为愿意开发使用 DL 模型检测 ECG 异常的有效算法的新兴研究人员提供了全面的路线图，以加快适应过程。我们量身定制的指南弥补了知识差距，使新手能够顺利跟上心电图心律失常检测的当前研究趋势。我们阐明了模型开发和优化方面未来研究和改进的潜在领域，旨在促进心电图心律失常检测和分类的进步。
通过循环解码单元分割医学 MRI
编码器-解码器网络在分层特征融合方面表现优异，常用于医学图像分割。然而，特征解码和空间恢复的扩展路径在融合不同层的特征图时没有考虑长期依赖性，并且通用编码器-解码器网络没有充分利用多模态信息来提高网络鲁棒性，尤其是对于医学MRI的分割。在本文中，我们提出了一种称为循环解码单元（RDC）的新型特征融合单元，它利用卷积RNN在解码阶段记忆来自前几层的长期上下文信息。我们还基于RDC提出了一种用于分割多模态医学MRI的编码器-解码器网络，称为卷积循环解码网络（CRDN）。CRDN采用CNN主干对图像特征进行编码，并通过一系列RDC对其进行分层解码以获得最终的高分辨率分数图。在 BrainWeb、MRBrainS 和 HVSMR 数据集上的评估实验表明，RDC 的引入有效地提高了分割精度并减小了模型尺寸，并且提出的 CRDN 对医学 MRI 中的图像噪声和强度非均匀性具有很强的鲁棒性。
物理信息的神经网络建模和区域供暖系统的预测控制
摘要 - 本文介绍了基于数据的建模和最佳区域供暖系统（DHSS）。此类大规模网络系统的物理模型受复杂的非线性方程的控制，需要大量参数，从而导致其操作的潜在计算问题。因此提出了一种新颖的方法，利用操作数据和可用的物理知识，以获得准确且计算有效的DHSS动态模型。拟议的想法包括利用多个反复构建的神经网络（RNN）以及将DHS网络的物理拓扑嵌入其互连中。在标准RNN方法方面，所得的模型方法（表示为物理知识的RNN（PI-RNN）），即使利用了减少尺寸的模型，也可以实现更快的训练程序和更高的建模准确性。开发的PI-RNN建模技术为设计非线性模型预测控制（NMPC）调节策略铺平了道路，从而使计算时间有限，以最小化生产成本，提高系统效率并提高系统效率并尊重整个DHS网络的操作约束。在文献中引用的DHS基准的模拟中测试了所提出的方法，从建模和控制角度显示了有希望的结果。
利用深度复发神经网络的新型基于FPGA的意图识别系统
摘要：近年来，已经引入了基于非声音和非人工界面的监视和控制家庭环境的系统，以改善流动性困难的人的生活质量。在这项工作中，我们介绍了利用经常性神经网络（RNN）的这种新型系统的可重新实现和优化。在实现现实世界结果中所证明的是，在实施RNN时，FPGA被证明非常有效。尤其是，我们可重新发现的实现比执行参考推理任务的高端Intel Xeon CPU快150×。此外，与服务器CPU相比，所提出的系统在能量效率方面达到了300倍以上的改进，而在所报告的已达到的GFLOPS/W方面，它甚至超过了服务器量的GPU。本研究中讨论的工作的另一个重要贡献是，所证明的实施和优化过程也可以作为对实施RNN的推理任务的任何人的参考；我们的C ++代码是针对高级合成（HLS）工具量身定制的，这进一步促进了这一事实。
SPIE的会议录
糖尿病性肾病（DN）是美国终末期肾脏疾病（ESRD）的主要原因。dn是根据肾小球形态分级的，在肾脏活检中具有空间异质表现，使病理学家对疾病进展的预测变得复杂。病理学的人工智能和深度学习方法已显示出对定量病理评估和临床轨迹估计的有望。但是，他们通常无法捕获大规模的空间解剖结构，并且在整个幻灯片图像（WSIS）中发现的关系。在这项研究中，我们提出了一个基于变压器的多阶段ESRD预测框架，建立在非线性维度降低，每对可强化的肾小球之间的相对欧几西亚像素距离嵌入以及相应的空间自我自我性别机制之间用于可靠的上下文。，我们开发了一个深层变压器网络，用于编码WSI并使用来自首尔国立大学医院DN患者的56个肾脏活检WSI的数据集进行编码并预测未来的ESRD。Using a leave-one-out cross-validation scheme, our modified transformer framework outperformed RNNs, XGBoost, and logistic regression baseline models, and resulted in an area under the receiver operating characteristic curve (AUC) of 0.97 (95% CI: 0.90-1.00) for predicting two-year ESRD, compared with an AUC of 0.86 (95% CI: 0.66-0.99)没有我们的相对距离嵌入，而AUC为0.76（95％CI：0.59-0.92），而无需降解自动编码器模块。关键词：糖尿病性肾病，变压器，自我注意，终末期肾脏疾病，数字病理，分割，虽然样本量较小的可变性和概括性既有挑战性，但我们基于距离的嵌入方法和过度拟合的缓解技术产生了结果，这表明使用有限的病理数据集为未来的空间意识到WSI研究的机会。
对预测天气的机器学习技术的比较分析：案例研究
从历史上看，天气前铸造被认为是基于科学和技术的大气国家的预测。为了建模气候元素的非林耳，ANN已被证明有用，深度学习（DL）AP进一步增强了解决气象参数非线性的能力（Abdalla等，2021; Ren等，2021）。一种广泛使用的用于天气预报的算法是随机森林。主要用于基于过去的预测来预测天气，它在使用大型数据集时的准确性及其在每个分类中分别使用的灵活性（Krocak等，2023; Dhamodaran等，2020; 2020; Tyralis et al。，2019）。但是，值得一提的是，每种技术都有其局限性。例如，在复发性神经网络（RNN）中梯度消失和爆炸的概率以及卷积神经网络（CNN）中卷积过滤器的构造可以限制这些方法在长期建模和在序列数据中建模长期和三重关系中的有效性。RNN的精制版本是长期术语内存技术（LSTM）。这些可以解决梯度消失的问题，
对神经形态底物的脑启发学习
摘要 - 非形态硬件努力模仿大脑样神经网络，因此有望在时间数据流上进行可扩展的低功率信息处理。然而，要解决现实世界中的问题，需要培训这些网络。然而，对神经形态底物的培训会由于特征的特征和基于梯度的学习算法所需的非本地计算而产生显着的挑战。本文为神经形态底物设计实用的在线学习算法设计了数学框架。特别是，我们显示了实时复发学习（RTRL）之间的直接联系，这是一种用于计算常规复发神经网络（RNN）（RNN）的在线算法，以及用于培训跨度尖峰神经网络（SNNS）的生物学上可行的学习规则。此外，我们激励基于障碍物雅各布人的稀疏近似，从而降低了该算法的计算复杂性，减少了非本地信息的要求，并凭经验可以提高学习良好的学习性能，从而提高了其对神经形状子形态的适用性。总而言之，我们的框架弥合了深度学习中突触可塑性与基于梯度的方法之间的差距，并为未来神经形态硬件系统的强大信息处理奠定了基础。
使用FNIRS的机器学习的基准测试框架
功能性近红外光谱（FNIRS）（Jobis 1977）越来越多地用于认知神经科学和脑部计算机界面（BCIS）（Naseer and Hong 2015）。通常是为了确定受试者正在执行的任务类型或评估任务的强度水平，并且在对精神活动的类型和水平进行分类方面变得越来越流行（Herff等人。2014，Benerradi等。 2019）。 用于分类，可以广泛使用机器学习，无论是使用线性判别分析（LDA）或支持向量机（SVM）等模型的标准机器学习，还是最近深入学习，具有从标准的人工神经网络（ANN）到卷积神经网络（CNNS）和复发性神经网络（RASE NEARER网络（RASE）（RASE）（RASE）（RASE）（RASE）（RASE）（RASE）（NASE）（NASE）（NASE）。 2016，Trakoolwilaiwan等。 2017，Yoo等。 2018）。 与其他已经开发出标准化和可比较的方法来用于生理措施，标准和良好实践的社区不同。 因此，在某些情况下，这些技术似乎是有效的，但是研究人员需要意识到良好的实践，并避免常见的陷阱，从而破坏最终结果的可靠性（Lipton和Steinhardt 2019）。2014，Benerradi等。2019）。用于分类，可以广泛使用机器学习，无论是使用线性判别分析（LDA）或支持向量机（SVM）等模型的标准机器学习，还是最近深入学习，具有从标准的人工神经网络（ANN）到卷积神经网络（CNNS）和复发性神经网络（RASE NEARER网络（RASE）（RASE）（RASE）（RASE）（RASE）（RASE）（RASE）（NASE）（NASE）（NASE）。2016，Trakoolwilaiwan等。 2017，Yoo等。 2018）。 与其他已经开发出标准化和可比较的方法来用于生理措施，标准和良好实践的社区不同。 因此，在某些情况下，这些技术似乎是有效的，但是研究人员需要意识到良好的实践，并避免常见的陷阱，从而破坏最终结果的可靠性（Lipton和Steinhardt 2019）。2016，Trakoolwilaiwan等。2017，Yoo等。 2018）。 与其他已经开发出标准化和可比较的方法来用于生理措施，标准和良好实践的社区不同。 因此，在某些情况下，这些技术似乎是有效的，但是研究人员需要意识到良好的实践，并避免常见的陷阱，从而破坏最终结果的可靠性（Lipton和Steinhardt 2019）。2017，Yoo等。2018）。与其他已经开发出标准化和可比较的方法来用于生理措施，标准和良好实践的社区不同。因此，在某些情况下，这些技术似乎是有效的，但是研究人员需要意识到良好的实践，并避免常见的陷阱，从而破坏最终结果的可靠性（Lipton和Steinhardt 2019）。