目标。脑电图(MI)分类基础(EEG)长期以来一直在神经科学领域进行研究,最近在医疗保健应用中广泛使用了移动辅助机器人和神经疗法等医疗保健应用。尤其是依赖卷积神经网络(CNN)的基于脑电图的运动象征分类方法已经达到了相对较高的分类精度。然而,天真的训练CNN可以从所有通道中对原始脑电图进行分类,尤其是对于高密度的脑电图,在计算上是要求的,需要大量的训练集。它通常还引入了许多无关的输入功能,因此CNN很难提取信息丰富的功能。这个问题是由于缺乏训练数据而加剧了这一点,这对于MI任务尤其重要,因为这些问题是认知要求的,因此疲劳引起了疲劳。方法。为了解决这些问题,我们提出了一个基于端到端CNN的神经网络,具有注意机制以及不同的数据增强(DA)技术。我们在两个基准MI数据集,脑计算机界面(BCI)竞争IV 2A和2B上测试了它。此外,我们收集了一个使用高密度脑电图记录的新数据集,并包含与社区共享的MI和Motor Execution(ME)任务。主要结果。我们提出的神经网络架构的表现优于我们在文献中发现的所有最新方法,在有或没有DA的情况下,BCI 2A和2B的平均分类精度分别达到93.6%和87.83%。我们还直接比较了MI和我任务的解码。意义。专注于MI分类,我们找到了最佳的渠道配置和最佳DA技术,并研究了跨参与者的数据和转移学习的作用。我们提出的方法提高了基准数据集中MI的分类精度。此外,收集自己的数据集使我们能够比较MI和我,并研究EEG对神经科学和BCI至关重要的各个方面。
在设计速度的安全体系结构时,我们认为公共云是不安全的,无法存储个人未加密的数据。虽然我们遵循最佳实践来确保基础架构,但我们也认为它容易受到恶意入侵的影响。步调的安全模型依赖于椭圆曲线密码学。所有数据都在用户的设备上加密,并且从未通过网络未加密发送。为了实现这一目标,每个用户都有一个唯一的密钥对来加密和一个唯一的密钥对,用于签名数据。这些钥匙对是在创建帐户期间生成的,除所有者以外,其他任何人都不知道私钥。它可以确保没有人,甚至没有步调,可以读取用户的数据,除了最终可以决定与之共享的其他用户。,如果入侵者获得了对基础架构的恶意访问,它还可以防止妥协和数据泄漏。使用以下库使用NACL实现加密:
从脑电信号进行语音解码是一项具有挑战性的任务,其中大脑活动被建模以估计声学刺激的显著特征。我们提出了 FESDE,一种从脑电信号进行完全端到端语音解码的新颖框架。我们的方法旨在根据脑电信号直接重建所听语音波形,其中不需要中间声学特征处理步骤。所提出的方法由脑电模块、语音模块和连接器组成。脑电模块学习更好地表示脑电信号,而语音模块从模型表示中生成语音波形。连接器学习连接脑电和语音的潜在空间分布。所提出的框架既简单又高效,允许单步推理,并且在客观指标上优于以前的工作。进行了细粒度的音素分析以揭示语音解码的模型特征。源代码可在此处获取:github.com/lee-jhwn/fesde。索引词:语音解码、语音合成、脑电图、神经活动、脑信号
端到端的自主驾驶引起了广泛的关注。当前的最终方法在很大程度上取决于感知任务(例如检测,跟踪和地图细分)的监督,以帮助学习场景表示。但是,这些方法需要广泛的注释,从而阻碍数据量表。为了应对这一挑战,我们提出了一种新颖的自我监督方法,以增强端到端驾驶,而无需昂贵的标签。具体来说,我们的框架法使用潜在世界模型根据预测的自我动作和当前框架的潜在特征来预测未来的潜在特征。预测的潜在功能由将来实际观察到的功能监督。此监督共同优化了潜在的特征学习和动作预测,从而大大提高了驾驶性能。结果,我们的APARCH在开环和闭环基准测试中都实现了最先进的性能,而无需昂贵的注释。
摘要:本文介绍了一种结合硬件和软件的定制系统,该系统可感知表演者身体因肌肉收缩而产生的生理信号,并将其转换为计算机合成的声音。我们的目标是在该领域研究历史的基础上开发一个完整的集成系统,供非专业音乐家使用。我们描述了 Embodied AudioVisual 交互肌电图,这是一个端到端系统,涵盖音乐家身体上的可穿戴传感、基于定制微控制器的生物信号采集硬件、基于机器学习的手势到声音映射中间件和基于软件的粒度合成声音输出。一种新颖的硬件设计以最少的模拟预处理将来自肌肉的肌电图信号数字化,并在音频信号处理链中将其作为类兼容的音频和无线 MIDI 接口处理。映射层在强化学习配置中实现了交互式机器学习工作流程,并可以将手势特征映射到多维信息空间中的听觉元数据。该系统调整了现有的机器学习和合成模块,使其与硬件配合使用,形成了一个集成的端到端系统。我们通过一系列公开演讲和一系列音乐从业者的音乐会表演探索了其作为数字乐器的潜力。
摘要:本文介绍了一种结合硬件和软件的定制系统,该系统可感知表演者身体因肌肉收缩而产生的生理信号,并将其转换为计算机合成的声音。我们的目标是在该领域研究历史的基础上开发一个完整的集成系统,供非专业音乐家使用。我们描述了 Embodied AudioVisual 交互肌电图,这是一个端到端系统,涵盖音乐家身体上的可穿戴传感、基于定制微控制器的生物信号采集硬件、基于机器学习的手势到声音映射中间件和基于软件的粒度合成声音输出。一种新颖的硬件设计以最少的模拟预处理将来自肌肉的肌电图信号数字化,并在音频信号处理链中将其作为类兼容的音频和无线 MIDI 接口处理。映射层在强化学习配置中实现了交互式机器学习工作流程,并可以将手势特征映射到多维信息空间中的听觉元数据。该系统调整了现有的机器学习和合成模块,使其与硬件配合使用,形成了一个集成的端到端系统。我们通过一系列公开演讲和一系列音乐从业者的音乐会表演探索了其作为数字乐器的潜力。
基于远程生理信号的抽象心率测量可能会大大促进日常生活中的健康监测。但是,生理信号的基础标签很昂贵且难以收集。在本文中,我们提出了一个对比的自我监督学习框架,以通过在预训练阶段利用没有地面真相标签的周期性信号先验来提取歧视性远程生理特征。具体来说,构建排名损失和对比度学习损失,以通过重新采样视频剪辑来提取知识。此外,数据增强和集合学习策略旨在微调预训练的模型并融合结果以改善心率测量。我们的最终解决方案实现了3𝑟𝑑基于远程远程生理信号传感(REPSS)挑战的轨道1的位置。
自主驾驶技术一直在迅速发展。主流体系结构涉及将整个管道分为几种不同的功能,例如感知,本地化和映射,预测,计划和控制。这个过程被认为是绩效,安全性和解释性之间的不错的权衡。但是,尽管驾驶员辅助系统(L2至L3)开始占据很大的市场份额,但高级(L4+)自主驾驶仍然落后于大规模生产。背后有几个原因:复杂的体系结构:当前的主流溶液具有二十次甚至更多模块。由于计算功率限制,单个模块的性能上限不高;系统中的内部接口太多,很难传输和优化。本地和整体优化目标有时需要冲突,因此很难观察到绩效的改进。高成本:随着模块数量的增加,研发/维护/人力成本飙升。重复发明,
Google 的各个团队都在努力将这些研究成果应用并落实到我们的模型、产品和风险管理中。例如,2019 年的论文“模型报告的模型卡”为人工智能模型定义了“营养标签”,该标签随后在 Google 和整个行业中得到采用。2023 年的论文“算法系统的社会技术危害:确定危害减少的分类法”提出了一种人工智能危害分类法,为我们发布前的风险评估提供了参考(见第 18 页)。此外,2023 年的一篇 Google DeepMind 论文研究了未来更强大的通用模型可能带来的新风险(例如网络安全威胁),并提出了一种用于评估模型抵御这些风险的预警系统方法,该论文正在用于为负责任的模型训练、部署和安全决策提供参考。
对端到端高清地图的回顾重新分配驾驶时间,减少能源浪费。 但是,实现4级和5级自主驾驶仍然对学术界和工业界仍然是一个重大挑战。 在自主驾驶的各种模块中,高清(HD)地图已成为一个关键组件,因为它们在地图元素中的高精度,可以准确定位,场景解释,导航,车辆控制,车辆控制和运动预测周围物体的轨迹。 几个地图提供商,包括Tomtom,Waymo和Nvidia,为其特定目的创建高清地图。 但是,大多数高清地图数据集并非公开可用于研究HD MAP生成的当前趋势。 此外,有关HD MAP生成的最新调查论文倾向于仅关注特定方面,例如道路拓扑或边界提取,而不是考虑总体端到端HD MAP生成过程。 因此,我们从高清图的简短定义,标准和功能开始,然后探索不同类型的HD地图,包括离线和在线变体,突出了它们各自的优势和缺点。 1。 简介对端到端高清地图的回顾重新分配驾驶时间,减少能源浪费。但是,实现4级和5级自主驾驶仍然对学术界和工业界仍然是一个重大挑战。在自主驾驶的各种模块中,高清(HD)地图已成为一个关键组件,因为它们在地图元素中的高精度,可以准确定位,场景解释,导航,车辆控制,车辆控制和运动预测周围物体的轨迹。几个地图提供商,包括Tomtom,Waymo和Nvidia,为其特定目的创建高清地图。但是,大多数高清地图数据集并非公开可用于研究HD MAP生成的当前趋势。此外,有关HD MAP生成的最新调查论文倾向于仅关注特定方面,例如道路拓扑或边界提取,而不是考虑总体端到端HD MAP生成过程。因此,我们从高清图的简短定义,标准和功能开始,然后探索不同类型的HD地图,包括离线和在线变体,突出了它们各自的优势和缺点。1。简介最后,我们将讨论最新的端到端HD MAP生成体系结构,以及各种类型的开源HD地图数据集并比较其性能。