方法:我们之前的研究表明,一种新的声音想象 (SI) 任务,高音调隐蔽声音产生,对于发作检测场景非常有效,并且我们预计它比迄今为止使用的最常见的异步方法,即运动想象 (MI) 有几个优势:1) 直观;2) 对运动障碍人士,尤其是皮质运动区域受损人士有益;3) 与其他常见的自发认知状态没有显著重叠,使其更容易在日常生活中使用。将该方法与在线现实场景中的 MI 任务进行了比较,即在观看视频和阅读文本等活动期间。在我们的场景中,当屏幕上出现来自通讯程序的新消息提示时,要求正在观看视频(或阅读文本、浏览图像)的参与者通过分别针对每个实验条件执行 SI 或 MI 任务来打开消息。
33.2 一款低于 1 µ J/级的集成思维意象与控制 SoC,适用于 VR/MR 应用,具有师生 CNN 和通用指令集架构 Zhiwei Zhong*、Yijie Wei*、Lance Christopher Go、Jie Gu 西北大学,伊利诺伊州埃文斯顿 * 同等署名作者 (ECA) 虚拟现实 (VR) 和混合现实 (MR) 系统,例如 Meta Quest 和 Apple Vision Pro,最近在消费电子产品中引起了极大的兴趣,在游戏、社交网络、劳动力援助、在线购物等元宇宙中掀起了新一波发展浪潮。AI 计算和多模块人类活动跟踪和控制方面的强大技术创新已经产生了身临其境的虚拟现实用户体验。然而,大多数现有的 VR 耳机仅依靠传统的操纵杆或基于摄像头的用户手势进行输入控制和人体跟踪,缺少一个重要的信息来源,即大脑活动。因此,人们对将脑机接口 (BMI) 整合到 VR/MR 系统中以供消费者和临床应用的兴趣日益浓厚 [1]。如图 33.2.1 所示,现有的集成 EEG 通道的 VR/MR 系统通常由 VR 耳机、16/32 通道 EEG 帽、神经记录模拟前端和用于信号分类的 PC 组成。此类系统的主要缺点包括:(1)佩戴麻烦且用户外观不佳,(2)缺乏低延迟操作的现场计算支持,(3)无法根据大脑活动进行实时思维意象控制和反馈,(4)由于 AI 分类导致的功耗高。为了克服这些挑战,这项工作引入了一种思维意象设备,该设备集成到现有的 VR 耳机中,而无需为 VR/MR 系统的思维控制 BMI 增加额外的佩戴负担。本研究的贡献包括:(1)支持 VR/MR 系统现场心智意象控制的 SoC,(2)与现有 VR 耳机无缝集成并优化 EEG 通道选择,以提高用户接受度和体验,(3)具有灵活数据流的通用指令集架构 (ISA),支持广泛的心智意象操作,(4)混淆矩阵引导的师生 CNN 方案,可在 AI 操作期间节省电量,(5)EEG 信号的稀疏性增强以降低能耗。制造了 65nm SoC 测试芯片,并在各种基于心智意象的 VR 控制上进行了现场演示。虽然先前的研究涉及基于 EEG 的癫痫检测或类似的生物医学应用 [2-6],但本研究专注于 VR/MR 环境中的新兴 BMI。得益于低功耗特性和设计的系统级优化,SoC 的数字核心在计算密集型 CNN 操作中实现了 <1μJ/类的能耗。图 33.2.2 显示了 EEG 通道选择和集成到 Meta Quest 2 VR 耳机中,在准确性和用户便利性之间进行了权衡。为了支持各种思维意象任务,8 个 EEG 通道 T3、T5、O1、O2、T6、T4、PZ、和 CZ 被选中并巧妙地融入头带以保持用户的美感。不同的心理任务会激活八个选定通道的子集,例如用于心理意象的 T3/T5/CZ/T4/T6、用于情感(例如情绪)监测的 T5/CZ 或用于稳态视觉诱发电位 (SSVEP) 的 O1/O2/PZ。通道的减少导致三个主要任务的平均准确率略有下降(从 90.4% 下降到 85.2%),但显着提高了用户体验和可用性。带有生理盐水的商用 Hydro-link 电极用于通过头带上的预切孔捕获 EEG 信号。图 33.2.2 还显示了完全集成 SoC 的顶层图。多达 16 个可编程通道的 AFE 用于信号采集和数字化。 AFE 的每个通道包括一个增益为 45 至 72 dB、带宽为 0.05 至 400 Hz 的两级斩波放大器、一个转折频率为 60 Hz 的低通滤波器和一个工作频率为 128 Hz 至 10 kHz 的 8b SAR ADC。用于集成 AI 操作的数字核心包括一个 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维意象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有研究仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维意象任务。图 33.2.3 显示了专门开发的通用 ISA,用于数据流控制、模型配置、通道选择等。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏性设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。 CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统脉动阵列不同,此设计有意移除了大部分或 O1/O2/PZ 用于稳态视觉诱发电位 (SSVEP)。通道数的减少导致三个主要任务的平均准确度略有下降(从 90.4% 降至 85.2%),但显著提高了用户体验和可用性。使用带有生理盐水的商用 Hydro-link 电极通过头带上的预切孔捕获 EEG 信号。图 33.2.2 还显示了完全集成 SoC 的顶层图。最多 16 个可编程 AFE 通道用于信号采集和数字化。AFE 的每个通道包括一个增益为 45 至 72dB 和带宽为 0.05 至 400Hz 的两级斩波放大器、一个转折频率为 60Hz 的低通滤波器和一个工作频率为 128Hz 至 10kHz 的 8b SAR ADC。集成 AI 操作的数字核心包括 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维想象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有工作仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维想象任务。图 33.2.3 显示了专门开发的用于数据流控制、模型配置、通道选择等的通用 ISA。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有高硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏度设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统收缩阵列不同,此设计有意消除了大部分或 O1/O2/PZ 用于稳态视觉诱发电位 (SSVEP)。通道数的减少导致三个主要任务的平均准确度略有下降(从 90.4% 降至 85.2%),但显著提高了用户体验和可用性。使用带有生理盐水的商用 Hydro-link 电极通过头带上的预切孔捕获 EEG 信号。图 33.2.2 还显示了完全集成 SoC 的顶层图。最多 16 个可编程 AFE 通道用于信号采集和数字化。AFE 的每个通道包括一个增益为 45 至 72dB 和带宽为 0.05 至 400Hz 的两级斩波放大器、一个转折频率为 60Hz 的低通滤波器和一个工作频率为 128Hz 至 10kHz 的 8b SAR ADC。集成 AI 操作的数字核心包括 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维想象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有工作仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维想象任务。图 33.2.3 显示了专门开发的用于数据流控制、模型配置、通道选择等的通用 ISA。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有高硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏度设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统收缩阵列不同,此设计有意消除了大部分AFE 的每个通道包括一个增益为 45 至 72 dB、带宽为 0.05 至 400 Hz 的两级斩波放大器、一个转折频率为 60 Hz 的低通滤波器和一个工作频率为 128 Hz 至 10 kHz 的 8b SAR ADC。用于集成 AI 操作的数字核心包括一个 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维意象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有研究仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维意象任务。图 33.2.3 显示了专门开发的通用 ISA,用于数据流控制、模型配置、通道选择等。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏性设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。 CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统脉动阵列不同,此设计有意移除了大部分AFE 的每个通道包括一个增益为 45 至 72 dB、带宽为 0.05 至 400 Hz 的两级斩波放大器、一个转折频率为 60 Hz 的低通滤波器和一个工作频率为 128 Hz 至 10 kHz 的 8b SAR ADC。用于集成 AI 操作的数字核心包括一个 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维意象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有研究仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维意象任务。图 33.2.3 显示了专门开发的通用 ISA,用于数据流控制、模型配置、通道选择等。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏性设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。 CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统脉动阵列不同,此设计有意移除了大部分IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏度设置等)也集成到 ISA 中,以便高效调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。可以通过在不同数据流中重用相同的 PE 阵列来专门执行 CNN、FC、DFT 和 IIR 滤波操作,例如,Conv 层的权重平稳,或 FC 层和 DFT 的输出平稳。与传统的脉动阵列不同,该设计特意移除了大部分IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏度设置等)也集成到 ISA 中,以便高效调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。可以通过在不同数据流中重用相同的 PE 阵列来专门执行 CNN、FC、DFT 和 IIR 滤波操作,例如,Conv 层的权重平稳,或 FC 层和 DFT 的输出平稳。与传统的脉动阵列不同,该设计特意移除了大部分
目的:卷积神经网络(CNN)最近在解码脑脑成像(MI)脑部计算机界面(BCI)的脑电图(EEG)信号方面引起了很多注意,该信号设计用于改善中风康复策略。然而,脑电图信号的极其非线性,非平稳性质和各个受试者之间的多样性导致CNN模型过度拟合并限制其学习能力。在这项研究中,提出了具有多视图输入的密集连接的卷积网络。方法:首先,通过应用于脑电图信号的带通滤波器的CNN模型输入,从原始EEG信号中产生了不同的数据子集,以基于脑节律生成多个频率子频段信号。然后,分别基于整个频段和滤波器频段信号捕获时间和空间特征。此外,使用多CNN层的两个密集块,它们将每一层连接到馈送路径中的其他层,用于增强模型学习能力并增强信息传播。最后,使用一种串联融合方法来整合提取的特征和完全连接的层来最终化分类。结果:所提出的方法在韩国公立大学EEG数据集上达到了75.16%的平均准确性,该数据集由54个健康受试者组成,用于两级运动成像任务,高于其他最先进的深度学习方法。结论:提出的方法有效地从BCI系统中的EEG信号中提取了更丰富的运动图像信息,并提高了分类精度。
摘要................................................................................................................................................................ i
• 商业和遥感(摄影测量)学位 • 30 多年遥感和测绘经验 • 1992 年推出机载/地面激光雷达 • 协助开发许多首批激光雷达/图像应用、规范和标准 • 首个光栅图像“门户网站”顾问 • SME (RS) – 保险、大学、电气。公用事业、石油天然气 - E/P 和管道 • 曾是密歇根州立大学的 SME – 协助创建此激光雷达规范 • 现任密歇根州立大学的 SME – 激光雷达通识教育 – 回答供应商技术问题 – 协助进行提案评估流程 – 讨论数据合规性评估
在与航空界的互动过程中,我注意到人们对卫星图像的兴趣日益浓厚。飞行员现在可以访问近乎实时的卫星图像产品,这些产品可从 NWS 网站以及越来越多的私人网站和其他来源轻松访问。各种经常更新的高分辨率卫星图像可供使用,每张图像都提供有关飞行员计划飞行路线沿线天气状况的见解和线索。气象卫星上的成像仪现在可以探测云层反射和发射的各种光谱宽度的辐射。这样就可以生成图像,突出显示给定位置上空大气中的各种水平和云类型。当飞行员通过切换不同的频道研究其路线或位置的卫星图像时,他们可以更好地了解在飞行前简报程序中推断出的当前和短期预期飞行条件。
私人和工业应用。其中,土地测绘、地形分类和特征提取是那些分析数据以生成信息、报告和情报产品的人的关注重点。WorldView 2 的 8 个名义波段中心使我们能够使用非传统方式测量数据中特征、人工制品和表面材料中存在的差异,并且我们能够通过利用这些波长通道中的独特响应值来确定处理此信息的最有效方法。可以使用归一化差异指数比率来寻找选定波段之间的响应差异,以测量水分含量、指示植被健康状况并区分自然特征和人造物体。这项工作的重点是开发一种方法来测量、识别和阈值化这些差异,以便建立与 WorldView 2 影像相关的有效土地测绘和特征提取过程。1.0 WorldView 2 规格
摘要。在 C 波段,SAR 图像在不同类型的自然土地覆盖之间通常表现出很小的平均振幅变化。但是,在这种图像的纹理属性中经常可以找到大量信息,尤其是在以高空间分辨率获取时。这种纹理信息可能有助于观察影响陆地表面植被均匀性的过程,例如人类干扰后再生热带森林的阶段性演替,其特点是随着再生物种被硬木物种取代,冠层均匀性逐渐降低。在本研究中,比较了三种测量巴西中部热带森林地区 C 波段机载 SAR 图像纹理的技术。通过使用 Landsat TM 图像的时间序列来独立估计再生年龄,评估这些测量对森林再生阶段的依赖性。每种纹理测量都能够很好地区分成熟森林和其他类型的植被,而仅使用图像振幅无法做出相同的区分。不同年龄的再生树似乎可以进一步区分,但很难定量证明,因为很难对再生年龄进行令人满意的验证。
摘要 几十年来,从遥感图像中自动提取线性特征一直是广泛研究的主题。最近的研究表明,提取特征信息可用于更新地理信息系统 (GIS) 等应用,前景广阔。近年来,随着多种机载和卫星传感器的发射,可用图像的增加刺激了研究。然而,虽然图像数据范围和可用性的扩展为获取图像相关产品提供了新的可能性,但也对图像处理提出了新的要求。有效处理大量可用数据需要提高自动化程度,同时仍要利用人类操作员的技能。本文概述了用于线性特征提取的图像类型。本文还介绍了用于特征提取的方法,并考虑了这些程序的定量和定性准确性评估。
摘要。目的:基于脑电图 (EEG) 的脑机接口 (BCI) 中的通道选择已进行了二十多年的广泛研究,目的是选择最佳的主体特定通道,以提高 BCI 的整体解码效率。随着基于深度学习 (DL) 的 BCI 模型的出现,需要新的视角和新颖的技术来进行通道选择。在这方面,与主体无关的通道选择很重要,因为使用跨主体数据训练的 DL 模型提供了卓越的性能,并且 EEG 特征的固有主体间变异性对与主体无关的 DL 训练的影响尚不完全清楚。方法:在这里,我们提出了一种在基于 DL 的运动想象 (MI)-BCI 中实现与主体无关的通道选择的新方法,使用逐层相关性传播 (LRP) 和神经网络修剪。实验使用来自韩国大学 (KU) EEG 数据集的 Deep ConvNet 和 62 通道 MI 数据进行。主要结果:使用我们提出的方法,由于 LRP 选择高度相关的通道,我们将通道数量减少了 61%,而与受试者无关的分类准确度没有任何显著下降(p=0.09)。基于 LRP 相关性的通道选择与传统的基于权重的选择相比提供了明显更好的准确度,同时使用了不到 40% 的总通道数,准确度差异范围为 5.96% 至 1.72%。仅使用总通道数 16% 的适应稀疏 LRP 模型的性能与适应基线模型的性能相似(p=0.13)。此外,仅使用总通道数 35% 的适应稀疏 LRP 模型的准确度比适应基线模型高出 0.53%(p=0.81)。对 LRP 选择的通道的分析证实了选择的神经生理学合理性,并强调了运动、顶叶和枕叶通道对 MI-EEG 分类的影响。意义:所提出的方法解决了 EEG-BCI 解码中的一个传统问题,同时与 BCI 领域的最新发展相关且适用。我们相信,我们的工作带来了模型可解释性作为一种解决问题的技术的有趣且重要的应用。
