XiaoMi-AI文件搜索系统
World File Search Systemrnn
基于蚂蚁的神经拓扑搜索（ANTS）用于优化循环网络
摘要。为循环神经网络 (RNN) 手工制作有效且高效的结构是一个困难、昂贵且耗时的过程。为了应对这一挑战，我们提出了一种基于蚁群优化 (ACO) 的新型神经进化算法，称为基于蚂蚁的神经拓扑搜索 (ANTS)，用于直接优化 RNN 拓扑。该过程从多种现代循环细胞类型中进行选择，例如 ∆ -RNN、GRU、LSTM、MGU 和 UGRNN 细胞，以及可能跨越多个层和/或时间步骤的循环连接。为了引入鼓励形成更稀疏的突触连接模式的归纳偏差，我们研究了核心算法的几种变体。我们主要通过制定不同的函数来驱动底层信息素模拟过程（模仿标准机器学习中的 L1 和 L2 正则化）以及引入具有专门角色的蚂蚁代理（受真实蚁群运作方式的启发），即构建初始前馈结构的探索蚁和从前馈连接中选择节点以随后制作循环记忆结构的社会蚁。 我们还结合了社区智慧，其中最佳权重由蚁群共享以进行权重初始化，从而减少本地训练候选 RNN 所需的反向传播时期数，从而加快神经进化过程。 我们的结果表明，ANTS 进化的稀疏 RNN 明显优于由现代记忆细胞组成的传统一层和两层架构以及众所周知的 NEAT 算法。 此外，我们还改进了实验中使用的时间序列数据集的先前最新结果。
使用小波转换和复发性神经网络的睡眠脑电图信号的索赔，用于睡眠阶段分类的新方法
摘要简介：视觉睡眠阶段评分是一种时间表，无法提取脑电图（EEG）的非线性特征。本文提出了一种基于小波变换和重新当前神经网络（RNN）的睡眠信号的索引，用于睡眠阶段分化的新方法。方法：使用较长的短期记忆模型，根据分类吉他作品和库尔德坦堡Makams的数据库进行了两个RNN的签名和训练。此外，使用离散的小波变换和小波包分解来确定EEG信号和MUSICAL螺距之间的关联。连续的小波变换用于从脑电图中提取基于音乐节拍的功能。然后，验证的RNN用于生成音乐。为了测试构图，将11个睡眠脑映射到吉他和坦率频率间隔上，并呈现给Pre-
时间序列分析的复发性神经网络模型
摘要时间序列分析是各个领域的关键组成部分，例如财务，经济学，气候科学和医疗保健，在该领域中，准确的预测和模式识别至关重要。这项研究探讨了使用Google股票价格作为案例研究，探讨了复发性神经网络（RNN），尤其是长期记忆（LSTM）网络的应用，特别是短期记忆（LSTM）网络。该研究始于全面的文献综述，强调了RNN体系结构，其理论基础以及时间序列预测中的多样应用的发展和进步。从方法论上讲，本研究概述了所采用的数据预处理技术，包括将数据集缩放和将数据集划分为培训和测试集。RNN模型体系结构经过精心设计，具有多个LSTM层和辍学的正则化，以防止过度拟合并增强模型鲁棒性。使用不同的指标（MAE，MSE，RMSE）对模型进行训练和评估。经验结果证明了RNN模型在捕获时间依赖性并产生准确的股票预测方面的功效。
从神经数据中推断出随机的低级复发性神经网络
计算神经科学的核心目的是将大量神经元种群的活性与潜在的动态系统联系起来。这些神经动力学的模型理想情况下应既可以解释又适合观察到的数据。低级复发性神经网络（RNN）通过具有可拖动动力学表现出这种解释性。但是，尚不清楚如何最佳地拟合低级别的RNN与由对潜在随机系统进行嘈杂观察的数据组成的数据。在这里，我们建议与随机的低级RNN一起使用各种顺序蒙特卡洛方法。我们在由连续和尖峰神经数据组成的几个数据集上验证了我们的方法，在该数据集中，我们获得的尺寸潜在动力学比当前方法的当前状态较低。此外，对于具有分段线性非线性的低级模型，我们展示了如何有效地识别单位数量中多项式而不是指数成本的所有固定点，从而分析了针对大型RNN的推断动力学分析。我们的方法都阐明了实验记录的基础动力系统，并提供了一种生成模型，其轨迹与观察到的可变性相匹配。
燃气轮机控制的神经增强学习方法
摘要 - 在本文中，我们提出了一种新的基于神经网络的方法，以控制燃气轮机以在高负载下进行稳定操作。我们使用了复发性神经网络（RNN）和增强学习（RL）的组合。我们首先使用RNN来确定燃气轮机动力学的最小状态空间。基于此，我们通过标准RL方法确定最佳控制策略。我们进入一个所谓的复发控制神经网络（RCNN），该网络将这两个步骤结合到一个集成的神经网络中。我们的方法具有一个优势，即通过使用神经网络，我们可以轻松地处理燃气轮机的高尺寸，并且由于RNN的高系统认同质量与一般而言，通常只有有限的可用数据。我们在示例性的燃气轮机模型上演示了所提出的方法，与标准控制器相比，它强烈改善了性能。
用于文本分类的量子循环架构
循环神经网络 (RNN) 在神经 NLP 的早期阶段具有变革性（Sutskever 等人，2014 年），并且与 Transformers 等较新的架构相比仍具有竞争力（Orvieto 等人，2024 年）。如今，量子计算也正在成为一种潜在的变革性技术（Preskill，2018 年），我们很自然地会考虑 NLP 模型的量子版本，比如 RNN，并问它们是否比经典模型具有任何优势。在这里，我们开发了基于参数化量子电路 (PQC) 的单元量子 RNN。PQC 可用于提供一种混合量子经典计算形式，其中输入和输出采用经典数据的形式，而控制 PQC 计算的一组参数是经过经典优化的（Benedetti 等人，2019 年）。量子计算之所以令人兴奋，是因为它能让我们高效地解决问题或运行模型，而这些在传统计算机上无法高效运行（Nielsen and Chuang，2000）。量子硬件的快速发展意味着
基于神经动力学模型的基于增强学习的MPC
摘要 - 本文提出了开发非线性模型预测控制（NMPC）策略的端到端学习，该策略不需要明确的第一原理模型，并假定系统动力学是未知或部分已知的。本文提出了使用可用的测量结果来识别标称复发性神经网络（RNN）模型来捕获非线性动态，其中包括对状态变量和输入的约束。要解决仅将模型拟合到数据而产生的次优控制策略的问题，本文使用加固学习（RL）来调整NMPC方案并为真实系统生成最佳策略。该方法的新颖性在于使用RL来克服名义RNN模型的局限性并产生更准确的控制策略。本文讨论了RNN模型的初始状态估计的实施方面以及MPC中神经模型的整合。在经典的基准控制问题上证明了所提出的方法：级联的两个坦克系统（CTS）。索引术语 - 强化学习，非线性模型预测控制，复发性神经网络
使用...的焦点和运动想象脑机接口
脑机接口是一种无需肌肉和声音，直接通过处理过的电信号从大脑操作设备的技术。该技术的工作原理是捕获大脑的电信号或磁信号，然后对其进行处理以获取其中包含的信息。通常，BCI 使用基于各种变量的脑电图 (EEG) 信号中的信息。这项研究提出了基于 EEG 信号信息的 BCI 来移动外部设备，例如无人机模拟器。从 EEG 信号中提取运动想象 (MI) 和焦点变量，使用小波。然后，通过循环神经网络 (RNN) 对它们进行分类。为了克服 RNN 记忆消失的问题，使用了长短期记忆 (LSTM)。结果表明，BCI 使用小波，而 RNN 可以驱动非训练数据的外部设备，准确率为 79.6%。实验表明，AdaDelta 模型在准确性和价值损失方面优于 Adam 模型。而在计算学习时间方面，Adam 模型比 AdaDelta 模型更快。