XiaoMi-AI文件搜索系统
World File Search SystemLSTMS
使用 Vision Transformers 增强 SEED-IV 数据集上的情绪分析：一项比较研究
本文介绍了一种利用深度学习模型（特别是视觉变换器 (ViT) 模型）进行情绪分类的新方法，用于分析脑电图 (EEG) 信号。我们的研究实施了一种双特征提取方法，利用功率谱密度和差分熵来分析 SEED IV 数据集。这种方法对四种不同的情绪状态进行了详细分类。最初设计用于图像处理的 ViT 模型已成功应用于 EEG 信号分析。它表现出色，测试准确率达到 99.02%，方差很小。值得注意的是，它在这方面的表现优于 GRU、LSTM 和 CNN 等传统模型。我们的研究结果表明，ViT 模型在准确识别 EEG 数据中存在的复杂模式方面具有很高的有效性。具体而言，该模型的准确率和召回率超过 98%，而 F1 分数估计约为 98.9%。该研究的结果不仅证明了基于变压器的模型在分析认知状态方面的有效性，而且还表明它们在改善人机交互系统方面具有巨大的潜力。
Spinnaker上的语言建模2神经形态芯片
随着大型语言模型的规模继续迅速扩展，运行它们所需的计算能力也是如此。基于事件的神经形态设备的网络提供了一种潜在的方法来大大减少推理的能源消耗。迄今为止，大多数基于事件的网络都可以在包括尖峰神经网络（SNNS）在内的神经形态硬件上运行，即使与LSTM模型相当，也无法实现任务性能。结果，对神经形态设备的语言建模似乎是一个遥远的前景。在这项工作中，我们基于最近发表的基于事件的架构The Egru，演示了在神经形态设备（特别是Spinnaker2芯片）上的第一个语言模型实现。spinnaker2是一种多核神经形态芯片，设计用于大规模异步处理，EGRU构建以有效地利用此类硬件，同时保持竞争性任务绩效。此实现标志着神经形态语言模型首次与LSTM匹配，为将任务性能带到大语言模型的级别设定了阶段。我们还根据DVS摄像机的输入来展示对手势识别任务的结果。总的来说，我们的结果展示了这种神经启发的神经网络在硬件中的可行性，强调了单批推断的常见用例的能源效率的显着增长与常规硬件的可行性。
用大语言模型增强认知体系结构
生成的AI模型，例如大语言模型（LLM），Vision Transformer（VIT）（Dosovitskiy等，2020）等。模型在近年来引起了极大的兴趣。已经提出了一些建议，以利用与其他模型（例如LSTMS（Lester，al-Rfou＆Constant，2021），认知体系结构（Wray，Kirk，＆Laird，2021）或计划和改进的LLMS（Park等，Park等，2023年），以列出少数模型（Park等，2023年，2023年），以列出了一定数将。与LLM融合计划和反思的方法为模拟环境中的任务带来了良好的结果。这引起了人们对LLM是否可以以原则性方式利用LLM的问题的兴趣，目的是产生一种可以在不同情况下利用每种方法的优势的代理，从而产生了综合药物，该综合药物比其部分的总和更大。这项工作提出了LLM和认知架构之间的一种可能的融合。这里的尝试是提出一种创造性的融合，将两个学科的思想连接起来，以产生一种方法，该方法产生的结果可能比两种方法（认知体系结构或LLMS）隔离使用。本文的其余部分如下：讨论了第一个认知体系结构总结在这种情况下相关的关键方面，随后进行了有关生成AI的讨论，重点是LLMS。llms在认知体系结构术语中介绍。随后融合了LLMS
在受到创伤的受试者中检测认知疲劳...
由于其复杂的性质，从fMRI数据中理解认知状态尚未全面提高。在这项工作中，理解TBI患者认知疲劳的问题已被提出为多类分类问题。我们使用卷积和LSTMS作为提取空间特征并建模fMRI扫描的4D性质的构建块构建了时空编码器模型。为了学习数据和条件的更好表示，我们使用了一种称为“对比学习”的自我监督的学习技术，用公共数据集Bold5000预先介绍了我们的编码器，并进一步微调了我们的标签数据集来预测认知疲劳。此外，我们提供了一个fMRI数据集，该数据集包含创伤性脑损伤（TBI）患者和健康对照组（HCS）的扫描，同时执行一系列标准化的N-BACK认知任务。此方法建立了一种最新技术，可以分析fMRI数据中的认知疲劳，并击败以前的方法，以不同的方式解决这一问题。此外，我们的模型进行原始fMRI扫描的能力（直接从扫描仪输出的伪影的嘈杂图像）消除了实现根据所使用的扫描仪而变化的手动信号处理管道的需求。最后，我们研究了促成CF的不同大脑区域的影响。所提出的技术在此数据集上优于最先进的方法的13％以上。
检测脑外伤患者的认知疲劳......
由于其复杂性，从 fMRI 数据理解认知状态尚未得到充分研究。在这项工作中，理解 TBI 患者的认知疲劳的问题已被表述为多类分类问题。我们构建了一个时空编码器模型，使用卷积和 LSTM 作为构建块来提取空间特征并模拟 fMRI 扫描的 4D 特性。为了更好地表示数据和条件，我们使用了一种名为“对比学习”的自监督学习技术，使用公共数据集 BOLD5000 对我们的编码器进行预训练，并进一步微调我们的标记数据集以预测认知疲劳。此外，我们提供了一个 fMRI 数据集，其中包含来自创伤性脑损伤 (TBI) 患者和健康对照 (HC) 的扫描，同时执行一系列标准化的 N-back 认知任务。该方法建立了一种最先进的技术来分析 fMRI 数据的认知疲劳，并且优于以前使用不同模式解决此问题的方法。此外，我们的模型能够接收原始 fMRI 扫描（扫描仪直接输出的带有伪影的噪声图像），因此无需实施根据所用扫描仪而变化的手动信号处理管道。最后，我们研究不同大脑区域对 CF 的影响。在此数据集上，所提出的技术比最先进的方法高出 13% 以上。
Andrey A. Podlesnyak在FY24机器学习中发表的论文...
软件包提供了简化的接口，以应用神经普通微分方程（节点）和神经控制的微分方程（NCDES）到多变量时间序列。模型对具有不规则样本间隔的数据是可靠的。与传统的LSTM或RNN相比，节点和NCDE是连续的时间模型。此外，此软件包还提供了构建和适合潜在vae-ncdes的界面，这是一种新技术，利用过去在潜在神经的常规微分方程上进行工作，以实现稳定的时间序列预测，并预测噪声测量。vae-ncde是一种生成时间序列模型，可概率多元时间序列预测。github：https：//code.ornl.gov/aires/aires-node doe代码：https：//doi.org/10.11578/dc.20240124.2 Minnervva linter httpps https https：//github.com/github.com/github.com/minnervva/minnervva/torrions in nontions in nontimations in nontimity in n ins prostion intery nistorts pytins pyertors 代码。它与测试工具（仍处于最终确定步骤中）相结合，该工具使用一系列参数测试Pytorch函数，以确定任何非确定性函数对特定输入的灵敏度，并验证Pytorch重复性文档是否正确，以适用于软件堆栈版本的任何组合以及各种硬件资源的任何组合。测试工具首先在其Alpha版本中使用，该论文最近提交给SC24正确性研讨会：https：//arxiv.org/abs/2408.05148。可以在此处找到包含所有复制SC24纸所需的代码和数据的存储库：
调查
摘要 - 网络犯罪分子获得敏感细节的最有效方法之一，例如在线银行，数字钱包，国家秘密等其他受害者的证书。他们通过向用户垃圾邮件恶意URL的垃圾邮件来做到这一点，其唯一目的是欺骗他们泄露敏感信息，后来用于各种网络犯罪。在这项研究中，我们对当前的最新机器学习和深度学习网络钓鱼检测技术进行了全面审查，以暴露其脆弱性和未来的研究方向。为了更好地分析和观察，我们将机器学习技术分解为贝叶斯，非拜访和深度学习。，我们回顾了贝叶斯和非基斯分类器的最新进展，然后利用其反应弱点以表明未来的研究方向。在利用贝叶斯和非贝斯分类器中的弱点时，我们还将每个表现与深度学习分类器进行了比较。为了对基于深度学习的分类器进行适当的审查，我们研究了复发性神经网络（RNN），卷积神经网络（CNN）和长期短期存储网络（LSTMS）。We did an empirical analysis to evaluate the performance of each classifier along with many of the proposed state-of-the-art anti-phishing techniques to identify future research directions, we also made a series of proposals on how the performance of the under-performing algorithm can improved in addition to a two-stage prediction model Index Terms —Phishing, malware attack, DDoS Attack, SVM, Naive Bayes, Munitinomial Naive Bayes
平衡 RNN 中的记忆与泛化以实现高性能脑机接口
脑机接口 (BMI) 可以恢复瘫痪患者的运动功能，但目前受限于实时解码算法的准确性。使用现代训练技术的循环神经网络 (RNN) 在根据神经信号准确预测运动方面已显示出良好的前景，但尚未在闭环设置中与其他解码算法进行严格评估。在这里，我们将 RNN 与其他神经网络架构进行了比较，使用来自非人类灵长类动物的皮层内信号对手指运动进行实时连续解码。在一指和两指在线任务中，LSTM（一种 RNN）的表现优于卷积和基于 Transformer 的神经网络，平均吞吐量比卷积网络高 18%。在运动集减少的简化任务中，RNN 解码器被允许记住运动模式并匹配健全人的控制。随着不同运动数量的增加，性能逐渐下降，但并没有低于完全连续的解码器性能。最后，在双指任务中，其中一个自由度的输入信号较差，我们使用经过训练的 RNN 恢复了功能控制，这些 RNN 既可以充当运动分类器，也可以充当连续解码器。我们的结果表明，RNN 可以通过学习和生成准确的运动模式来实现功能性实时 BMI 控制。
平衡 RNN 中的记忆与泛化以实现高性能脑机接口
脑机接口 (BMI) 可以恢复瘫痪患者的运动功能，但目前受限于实时解码算法的准确性。使用现代训练技术的循环神经网络 (RNN) 在根据神经信号准确预测运动方面已显示出良好的前景，但尚未在闭环设置中与其他解码算法进行严格评估。在这里，我们将 RNN 与其他神经网络架构进行了比较，使用来自非人类灵长类动物的皮层内信号对手指运动进行实时连续解码。在一指和两指在线任务中，LSTM（一种 RNN）的表现优于卷积和基于 Transformer 的神经网络，平均吞吐量比卷积网络高 18%。在运动集减少的简化任务中，RNN 解码器被允许记住运动模式并匹配健全人的控制。随着不同运动数量的增加，性能逐渐下降，但并没有低于完全连续的解码器性能。最后，在双指任务中，其中一个自由度的输入信号较差，我们使用经过训练的 RNN 恢复了功能控制，这些 RNN 既可以充当运动分类器，也可以充当连续解码器。我们的结果表明，RNN 可以通过学习和生成准确的运动模式来实现功能性实时 BMI 控制。
使用神经符号方法预测学生策略
摘要 预测学生的解决问题策略是一个复杂的问题，但它会对自动教学系统产生重大影响，因为它们可以根据学习者的情况调整或个性化系统。虽然对于小型数据集，学习专家可能能够手动分析数据来推断学生的策略，但对于大型数据集，这种方法是不可行的。我们开发了一个机器学习模型来根据学生数据预测策略。虽然基于深度神经网络 (DNN) 的方法（例如 LSTM）可以应用于此任务，但它们对于大型数据集通常具有较长的收敛时间，并且与其他几种基于 DNN 的方法一样，存在数据过度拟合的固有问题。为了解决这些问题，我们开发了一种用于策略预测的神经符号方法，即结合符号 AI（可以编码领域知识）和 DNN 的优势的模型。具体来说，我们使用马尔可夫逻辑对数据中的关系进行编码，并利用这些关系之间的对称性来更有效地训练 LSTM。具体来说，我们使用重要性抽样方法，对训练数据进行抽样，以便对于对称实例的群集/组（策略可能对称的实例），我们仅选择代表性样本来训练模型，而不是使用整个组。此外，由于某些组可能包含比其他组更多样化的策略，我们会根据先前观察到的样本调整重要性权重。通过对 KDD EDM 挑战数据集进行实证评估，我们展示了我们方法的可扩展性。