从非侵入性脑电图 (EEG) 重建自然语言作为脑机接口 (BCI) 的语言解码技术有着巨大的应用前景。然而,基于 EEG 的语言解码仍处于起步阶段,面临着一些技术问题,例如:1)缺乏能够有效结合跨模态(EEG 和文本之间)自学习与 EEG 特征或文本序列的模态内自重建的混合策略;2)未充分利用大型语言模型 (LLM) 来增强基于 EEG 的语言解码。为了解决上述问题,我们提出了对比 EEG-T 文本询问自动编码器 (CET-MAE),这是一种新颖的模型,它通过专用的多流编码器在 EEG 和文本之间和内部协调复合自监督学习。此外,我们开发了一个名为 E2T-PTR(使用预训练可迁移表示进行 EEG 到 T 文本解码)的框架,该框架利用预训练模块以及来自 CET-MAE 的 EEG 流,并进一步使 LLM(特别是 BART)能够从 EEG 序列中解码文本。在流行的文本诱发 EEG 数据库 ZuCo 上进行的全面实验证明了 E2T-PTR 的优越性,它在 ROUGE-1 F1 和 BLEU-4 得分上分别比基线框架高出 8.34% 和 32.21%。我们提出的预训练 EEG-Text 模型显示出改善涉及 EEG 和文本的下游任务的潜力。这为其在内部语音 BCI 范式中的应用开辟了有希望的途径,值得进一步研究。
摘要 - 本文使用3D深度自动编码器和大型视觉语言模型(LVLM)介绍了一种新方法,以弥合视频数据和多模式模型之间的差距,以进行视频异常检测。该研究探讨了先前架构的局限性,尤其是在遇到分布外实例时缺乏专业知识。通过在同一管道中集成自动编码器和LVLM,该方法可以预测异常的存在并提供详细的解释。此外,这可以通过采用二进制分类并自动提示新查询来实现。测试表明,系统的推论能力为工业模型的缺点提供了有希望的解决方案。但是,缺乏用于异常检测的高质量指导遵循视频数据需要一种弱监督的方法。公认的LLM领域的当前局限性,例如物体幻觉和低物理学感知,突出了需要进一步研究以改善视频异常检测域的模型设计和数据质量。
摘要:在不同投影场景下,气候模拟的时空分辨率的复杂性产生了多种气候模式。本文通过一种无监督的深度学习技术提出了一种新的数据驱动的气候分类工作,该技术可以在尺寸上降低大量时空数值气候投影数据中的大量紧凑表示。我们旨在确定捕获多个气候变量的不同区域以及在不同气候变化方案下的未来变化。我们的方法利用卷积自动编码器与K-均值聚类(标准自动编码器)和在线聚类相结合,基于sindhorn - Knopp算法(群集自动编码器),整个Conterminous美国(CONUS)(CONUS)(CONUS)捕获来自数据驱动的气候型号的独特气候式的goldement offeration Androm intery Demplyicals todlement todlement todlemant througation dynerical offer -Gromys toym intery dynerical demancortial dynerical ofderational dynerical officolt offer。 (GFDL-ESM2G)。开发的方法在多个变暖方案下以0.125 8的0.125 8将70年的GFDL-ESM2G仿真压缩为较低维空间的空间分辨率为660000倍,然后在150年的GFDL-ESM2G仿真数据中测试了150年。结果表明,五个气候群体捕获了与人类专家定义的已知气候类别相匹配的物理合理和空间稳定的气候效果。结果还表明,与使用标准自动编码器相比,使用群集自动编码器可以将聚类的计算时间限制为9.2倍。我们五个独特的气候模式是由深度学习引起的 - 基于较低维空间的聚类,从而使我们能够在整个综合美国立即提供有关水力气学及其空间异质性的见解,而无需下载大量的大气候数据集。
抗干扰措施 使用高度复杂的微电子器件需要始终实施抗干扰和布线概念。结构越紧凑,对现代机器的性能要求越高,这一点就越重要。以下安装说明和建议适用于“正常工业环境”。对于所有干扰环境,没有理想的解决方案。当采取以下措施时,编码器应处于完美的工作状态:• 在串行线的开始和结束处(例如,控制和最后一个编码器)用 120 电阻器(接收/发送和接收/发送之间)终止串行线。• 编码器的布线应远离可能造成干扰的电源线。
摘要:诸如ChatGpt和其他大型语言模型(LLM)等变压器网络的功能引起了世界的关注。其性能基础的至关重要的计算机制依赖于将完整的输入序列(例如,句子中的所有单词)转换为一个长的“编码向量”,该序列使变压器可以在自然序列中学习长距离的时间依赖性。具体来说,应用于此编码向量的“自我注意力”通过计算输入序列中的单词对之间的关联来增强变形金刚中的时间上下文。我们建议,跨单个皮质区域或以整个脑规模的多个区域传播的神经活动波可以实施类似的编码原理。通过将最新的输入历史记录到每个时间时刻,皮层波可以使时间上下文从感觉输入的序列中提取,这是变压器中使用的计算原理。
脑电图 (EEG) 是一种非侵入性工具,通过将电极放置在人体头皮上来测量大脑活动,从而检测神经元放电电压。虽然 EEG 技术存在信噪比差和仅捕获表面大脑活动等局限性,但它仍然是诊断癫痫和睡眠障碍等疾病的可靠方法 [ 1 ]。自动编码器 [ 2 ] 是一类特殊的神经网络,用作编码器-解码器对。编码器通过逐步减少各层的神经元数量,最终达到瓶颈层,将输入数据压缩为压缩表示,称为潜在空间。相反,解码器通过逐渐增加后续层中的神经元数量从这种压缩形式重建输入数据。这种压缩和重建过程使网络能够有效地捕获输入数据的显着特征。卷积变分自动编码器 (CVAE) [ 3 , 4 ] 通过合并卷积层扩展了此框架,使其特别适合处理图像数据。与标准自动编码器不同,CVAE 生成概率潜在空间。这种概率方法有助于学习稳健的特征,并增强模型生成类似于训练数据的新数据实例的能力。利用卷积层,CVAE 可以利用数据中的空间层次结构,从而增强其分析和重建图像数据中固有的复杂模式和纹理的能力。因此,CVAE 在要求详细
摘要 - 常规体内神经信号处理涉及从神经元合奏中记录的信号内提取尖峰活动,并且仅在足够的间隔上传输尖峰。但是,对于使用连续的局部场势(LFP)进行认知解码的脑部计算机界面(BCI)应用,将传输到计算机的神经数据的体积施加了相对较高的数据速率要求。对于使用具有数百或数千电极的高密度内部记录的BCI尤其如此。本文介绍了第一个基于自动编码器的压缩数字电路,用于LFP神经信号的有效传输。实施了各种拟南芥和架构级优化,以显着降低设计In In Vivo压缩电路的计算复杂性和内存需求。该电路采用基于自动编码器的神经网络,提供了强大的信号重建。体内压缩逻辑的应用特异性集成电路(ASIC)占据了最小的硅区域,并且在报告的最先进的压缩ASIC中消耗了最低功率。此外,它提供了更高的压缩率和较高的信噪比和失真率。
本论文由 ARROW@TU Dublin 计算机科学学院免费开放供您阅读。该论文已被 ARROW@TU Dublin 授权管理员接受并纳入论文。如需更多信息,请联系 arrow.admin@tudublin.ie、aisling.coyne@tudublin.ie、vera.kilshaw@tudublin.ie。
癌症治疗已成为当今世界上最大的挑战之一。使用不同的治疗方法针对癌症;基于药物的治疗结果显示出更好的结果。另一方面,为癌症设计新药是昂贵且耗时的。已经建议使用一些组合方法,例如机器学习和深度学习,以使用药物重新利用来解决这些挑战。尽管有望在重新利用癌症药物和预测反应中采用经典的机器学习方法,但深度学习方法的表现更好。本研究旨在开发一种深入学习模型,该模型可以根据多摩变数据,药物描述符和药物指纹预测癌症药物反应,并根据这些反应促进对药物的重新申请。为了降低多媒体数据的维度,我们使用自动编码器。作为多任务学习模型,自动编码器已连接到MLP。我们使用三个主要数据集对模型进行了广泛的测试:GDSC,CTRP和CCLE确定其功效。在多个实验中,我们的模型总体上优于现有的最新方法。与最先进的模型相比,我们的模型达到了令人印象深刻的AUPRC为0.99。此外,在跨数据库评估中,该模型在GDSC上进行了训练并在CCLE上进行了测试,它超过了先前的三项工作的表现,达到了0.72的AUPRC。总而言之,我们提出了一个深度学习模型,以优于当前有关概括的最新技术。我们的研究强调了高级深度学习的潜力,以提高癌症治疗精度。使用此模型,我们可以评估药物反应并探索药物的重新构成,从而发现新型癌症药物。