XiaoMi-AI文件搜索系统
World File Search System数据压缩
探索脑机接口的协同作用
患有严重神经损伤的人通常依赖辅助技术，但目前的方法在准确解码多自由度 (DoF) 运动方面存在局限性。皮层内脑机接口 (iBMI) 使用神经信号来提供更自然的控制方法，但目前难以处理更高自由度的运动——大脑可以轻松处理这些运动。据推测，大脑通过肌肉协同作用简化了高自由度运动，肌肉协同作用将多块肌肉连接起来作为一个单元发挥作用。这些协同作用已经使用降维技术进行了研究，例如主成分分析 (PCA)、非负矩阵分解 (NMF) 和分离 PCA (dPCA)，并成功用于降低噪音和提高非侵入式应用中的离线解码器稳定性。然而，它们在改善不同任务中植入记录的解码和通用性方面的有效性尚不清楚。在这里，我们评估了大脑和肌肉协同作用是否可以提高非人类灵长类动物执行双自由度手指任务时的 iBMI 性能。具体来说，我们测试了 PCA、dPCA 和 NMF 是否可以压缩和去噪大脑和肌肉数据并提高解码器在任务中的泛化能力。我们的结果表明，虽然所有方法都能有效地压缩数据，同时解码精度损失最小，但没有一种方法能通过去噪来提高性能。此外，没有任何方法能增强跨任务的泛化能力。这些发现表明，虽然降维可以帮助数据压缩，但单独使用降维可能无法揭示提高解码器性能或泛化能力所需的“真实”控制空间。需要进一步研究以确定协同作用是否是最佳控制框架，或者是否需要替代方法来增强 iBMI 应用中解码器的鲁棒性。
NVIDIA A100 Tensor Core GPU 架构
图 1. 现代云数据中心工作负载需要 NVIDIA GPU 加速 .......................................................... 8 图 2. NVIDIA A100 中的新技术.................................................................................... 10 图 3. 新 SXM4 模块上的 NVIDIA A100 GPU ........................................................................ 12 图 4. 用于 BERT-LARGE 训练和推理的统一 AI 加速 ............................................................. 13 图 5. 与 NVIDIA Tesla V100 相比，A100 GPU HPC 应用程序加速 ............................................. 14 图 6. 带有 128 个 SM 的 GA100 全 GPU（A100 Tensor Core GPU 有 108 个 SM） ............................................................................................. 20 图 7. GA100 流多处理器 (SM) ............................................................................................. 22 图 8. A100 与 V100 Tensor Core 操作 ............................................................................................. 25 图 9. TensorFloat-32 (TF32) ........................................................................................... 27 图 10. 迭代TCAIRS 求解器收敛到 FP64 精度所需的时间 .............................................. 30 图 11. TCAIRS 求解器相对于基线 FP64 直接求解器的加速 ........................................................ 30 图 12. A100 细粒度结构化稀疏性 ...................................................................................... 32 图 13. 密集 MMA 和稀疏 MMA 操作示例 ............................................................................. 33 图 14. A100 Tensor Core 吞吐量和效率 ............................................................................. 39 图 15. A100 SM 数据移动效率 ............................................................................................. 40 图 16. A100 L2 缓存驻留控制 ............................................................................................. 41 图 17. A100 计算数据压缩 ............................................................................................. 41 图 18. A100 强扩展创新 ............................................................................................. 42 图 19. Pascal 中基于软件的 MPS 与硬件加速的 MPS Volta............. 44 图 20. 当今的 CSP 多用户节点 ...................................................................................... 46 图 21. 示例 CSP MIG 配置 .............................................................................................. 47 图 22. 具有三个 GPU 实例的示例 MIG 计算配置。 ...................................................... 48 图 23. 具有多个独立 GPU 计算工作负载的 MIG 配置 ...................................................... 49 图 24. 示例 MIG 分区过程 ............................................................................................. 50 图 25. 具有三个 GPU 实例和四个计算实例的示例 MIG 配置。 .................... 51 图 26. 带有八个 A100 GPU 的 NVIDIA DGX A100............................................................. 53 图 27. 光流和立体视差的说明 .................................................................................... 55 图 28.顺序 2us 内核的执行细分。................................................................ 59 图 29. 任务图加速对 CPU 启动延迟的影响 .............................................................. 60
DTF-620 表格说明
PAL § 3102-e(1)(b) 下的新兴技术是指：1) 先进材料和加工技术，涉及开发、修改或改进一种或多种材料或方法，以生产具有改进性能特征或特殊功能属性的设备和结构，或激活、加速或以其他方式改变化学、生化或医学过程。此类技术包括但不限于以下内容：金属合金、金属基体和陶瓷复合材料、先进聚合物、薄膜、膜、超导体、电子和光子材料、生物活性材料、生物加工、基因工程、催化剂、废物减排和废物处理技术；2) 工程、生产和国防技术，涉及基于知识的控制系统和架构、先进的制造和设计流程、设备和工具，或推进、导航、制导、航海、航空和航天地面和机载系统、仪器和设备。此等技术包括但不限于下列各项：计算机辅助设计与工程、计算机集成制造、机器人与自动化设备、集成电路制造与测试设备、传感器、生物传感器、信号与图像处理、医疗与科学仪器、精密加工与成型、生物与遗传研究设备、环境分析、补救、控制与预防设备、国防指挥与控制设备、航空电子与控制装置、导弹与航天器推进装置、军用飞机、航天器以及监视、跟踪与防御预警系统；3）用于生产电子、光电子、机械设备和带有交互式媒体内容的电子发行产品的电子和光子器件及部件。此等技术包括但不限于下列各项：微处理器、逻辑芯片、存储芯片、激光器、印刷电路板技术、电致发光、液晶、等离子和真空荧光显示器、光纤、磁信息与光信息存储、光学仪器、透镜与滤波器、单工与双工数据库以及太阳能电池； 4）涉及先进计算机软件和硬件、可视化技术和人机界面技术的信息和通信技术、设备和系统。这些技术包括但不限于：操作和应用软件、人工智能、计算机建模和仿真、高级软件语言、神经网络、处理器架构、动画和全动态视频、图形硬件和软件、语音和光学字符识别、大容量信息存储和检索、数据压缩、宽带交换、多路复用、数字信号处理、和光谱技术；5）生物技术是涉及对生物体进行科学操作的技术，特别是在分子和亚分子遗传水平上，以生产有助于改善植物、动物和人类生活和健康的产品；以及与这些改进相关的科学研究、药理学、机械和计算应用和服务。此类应用和服务所包含的活动应包括但不限于替代 mRNA 剪接、DNA 序列扩增、抗原转换、生物增强、生物富集、生物修复、染色体步行、细胞遗传工程、DNA 诊断、指纹识别和
布莱恩·纳特教授
Tarter, D., Nutter, B. (2022)。Haar 小波树的快速编码。IEEE 数据压缩会议论文集。Parmar, H.、Nutter, B.、Long, R.、Antani, S.、Mitra, S. (2021)。使用 t-SNE 可视化 fMRI 的时间脑状态变化。医学影像杂志，8 (4)。Parmar, H.、Nutter, B.、Long, R.、Antani, S.、Mitra, S. (2020)。使用深度学习 3D-CNN 对 fMRI 数据进行阿尔茨海默病的时空特征提取和分类。医学影像杂志。Nutter, C.、Nutter, B. (2020)。在竞争性录取专业中取得成功。全国学生保留研讨会论文集。学生保留和数据交换联盟。 Bazgir, O.、Walden, E.、Nutter, B.、Mitra, S. (2020)。一种用于量化代谢物浓度的新型数据驱动磁共振波谱信号分析框架。算法。Johnston, D.、Nutter, B.、Gale, R. (2020)。通过新颖的 S 参数测量技术进行 IC 辨别。IEEE 国际仪器和测量会议论文集。Parmar, H.、Mitra, S.、Nutter, B.、Long, R.、Antani, S. (2020)。使用 t-SNE 可视化和检测大脑状态的变化。IEEE SSIAI 论文集。Parmar, H.、Nutter, B.、Mitra, S.、Long, R.、Antani, S. (2020)。用于阿尔茨海默病分类的 fMRI 的体积 3D CNN 深度学习。 SPIE 医学成像论文集。Rizkalla, M.、Patnala, M.、Yadav, A.、Williams, J.、Gopinath, A.、Nutter, B.、Ytterdal, T. (2020)。GaN TFET、FinFET 和 GNRFET 技术中 8T 静态 RAM 单元的低功耗高速性能——综述。固态电子学，163。Parmar, H.、Nutter, B.、Long, R.、Antani, S.、Mitra, S. (2019)。基于主成分分析从 4D fMRI 数据中自动消除信号漂移和全局波动作为 fMRI 数据分析的主要预处理步骤。SPIE 医学成像论文集。Gupta, S.、Petrie, C.、Rao, V.、Nutter, B. (2018)。智能校园 HVAC 系统的节能控制方法。IEEE 绿色技术会议论文集。 Parmar, H., Liu, X., Nutter, B., Mitra, S. (2018)。f-SIM：使用数字脑模型和建模噪声的准现实 fMRI 仿真工具箱。IEEE SSIAI 2018 论文集。Bazgir, O., Mitra, S., Nutter, B., Walden, E. (2018)。磁共振波谱中的全自动基线校正。IEEE SSIAI 2018 论文集。Liu, X., Nutter, B., Mitra, S. (2018)。用于研究稳健功能连接的人类大脑高同质性功能分区。IEEE SSIAI 2018 论文集。专利
IEEE CICC 2024 智能神经接口 - 信息科学
1 瑞士洛桑联邦理工学院，2 纽约州伊萨卡康奈尔大学 简介 在过去十年中，人们对开发智能神经接口片上系统 (SoC) 的兴趣日益浓厚，该系统用于治疗各种神经系统疾病和新兴的脑机接口 (BMI) 应用。人们开始转向创建具有植入信号处理、神经生物标志物提取和人工智能的智能系统，取代了之前主要侧重于原始神经信号采集和数据压缩以供离体处理的努力 [1-4]。将复杂功能集成到微型神经装置中为各种应用提供了重要机会，包括用于中枢神经系统 (CNS) 疾病的治疗装置、周围神经假体、脊髓接口等。在本文中，我们回顾了基于 CMOS 的集成电路 (IC) 开发的最新进展，用于三类智能神经假体，所有假体均在植入式或可穿戴设备上具有嵌入式信号处理功能。这些类别包括：1) 用于闭环症状跟踪和响应刺激的神经接口； 2) 用于治疗新兴网络相关疾病（如精神病和记忆障碍）的神经接口；3) 用于瘫痪后运动和通信恢复的智能 BMI SoC。这些发展标志着一个充满活力的领域的开始，我们预计未来几年会出现更广泛的智能神经假体。未来智能神经接口面临的挑战将先进的信号处理和机器学习 (ML) 算法集成到神经接口系统上，可以显著增强这些设备未来的治疗潜力。例如，嵌入 AI 的神经接口技术已证明可为脑部疾病（尤其是癫痫）患者提供准确、个性化的症状检测。十多年来，IC 和 AI 算法开发方面的积极创新促成了先进系统的诞生，使用硬件高效的侵入式或非侵入式 SoC 在癫痫发作检测中实现了超过 95% 的灵敏度和特异性 [5-10]。类似地，嵌入式神经生物标记物可以指导各种神经系统适应症中的刺激传递，因为它们可以代表神经元活动随时间的动态状态 [11- 14]。此外，基于软件的 AI 算法使越来越复杂的 BMI 系统能够快速恢复运动和通信 [15-18]，最近出现了微型硬件实现 [8, 19]。虽然这一进展令人鼓舞，但下一代智能神经接口 SoC 仍有几个挑战需要解决。可扩展性：利用来自完善的 EEG 数据集的有限数量的传感通道（8-24），硬件系统已经实现了卓越的癫痫发作检测性能，例如儿科 CHB-MIT 数据集 [20]。最近的一些研究将其扩展到更大的颅内脑电图 (iEEG) 数据集，这些数据集具有更多的通道数 (≤128) 和更复杂的成人难治性癫痫发作模式 [21, 22]。癫痫发作检测或其他症状跟踪系统中电极的空间分辨率有限
启用非侵入性筛查的AI范式
每天的执行摘要，国土安全部（DHS）人员在陆基入境港口，海上港口，机场，联邦设施和总统活动中进行高批量筛查任务。在这些地点，需要筛选商用货物，乘用车和违禁品的个人物品，例如麻醉品，武器，威胁材料和设备以及其他非法商品。对于边境控制，这代表着陆地边界的1200万个海事集装箱，海港的1200万个集装箱，通过铁路的270万个集装箱和1亿乘客每年。用于运输安全性，这代表每天超过550万张筛选。，对于联邦设施，这代表了9000个联邦设施的员工和访客的筛查。为此，即使对于一组最高风险的问题，DHS都在很大程度上依赖传统的感应技术，例如在多个能量带，计算机断层扫描（CT）运行的X射线门户和痕量化学感测来检测违禁品，而无需执行彻底的彻底大密集的手动检查。今天，各种形式的人工智能（AI）通常可以通过更好地利用传感器和检测器的数据流的方法来增强现有范式。以这种形式，在许多情况下，AI是一种后端设备，可帮助管理给定图像的全部内容。我们可以考虑使用更丰富的基础模型1的使用，而不是根据已测量的图像中的内容询问图像中的内容，而是要考虑使用更丰富的基础模型1，并问：“您应该测量什么”。但是，新兴技术的领域，再加上AI的进步，正在创造新的机会，从根本上重新考虑这些方法，在某些方面将它们转向外，并因此重新考虑了基于历史方法的风险模型。重新思考我们的方法可以为DHS如何以提高准确性，更高的吞吐量和通过这些检查站的流量来执行筛查任务的重要进展。我们今天可以检测到的图像的进步与AI启用的数据，成像，可视化和表征紧密相关，并且必须将其视为不可分割的连接。在今天的成像范式中，根本不使用大部分数据。AI通过从根本上重新定义数据的处理，分析和利用方式来实现新的思考旧问题。传统上，放射学领域的工作流都依赖于将大量的原始传感器数据压缩到重建的图像中，以进行人类解释，该过程不可避免地引入了数据丢失和不确定性，即使在当今使用的狭窄方式中。数据之后是处理和过滤的，以创建适合人类观看的蒸馏，而不是在其更丰富，更丰富的环境中使用。通过绕过或增强传统的工作流程过程，AI可以直接从原始传感器数据中提取细微的特征 - 在转换为视觉格式中可能会丢失或遮盖的功能。这些创新不仅挑战了根深蒂固的工作流程，而且还强调了AI如何将感知的局限性变成机会。本报告继续进行了一系列论文，我们探讨了AI，基础模型，对抗性AI，数字内容伪造以及对DHS任务的影响。它反映了与私营部门，学者和DHS运营组件的讨论，以及我们在2024年6月27日与马萨诸塞州理工学院林肯实验室（MIT LL）在“ AI-AI-Nopable Paradigms”范围内与马萨诸塞州理工学院实验室（MIT LL）进行了更深入的研究。2,3在本报告中，我们在抽象层面上回顾了非侵入性安全筛查的技术基础，引入了非侵入性筛选
生成式 AI
扩散概率模型 扩散概率模型是一类潜在变量模型，常用于图像生成等各种任务（Ho 等人，2020 年）。正式而言，扩散概率模型通过对数据点在潜在空间中扩散的方式进行建模来捕获图像数据，这是受统计物理学启发的。具体来说，它们通常使用经过变分推理训练的马尔可夫链，然后逆转扩散过程以生成自然图像。一个值得注意的变体是稳定扩散（Rombach 等人，2022 年）。扩散概率模型也用于 DALL-E 和 Midjourney 等商业系统。生成对抗网络 GAN 是一类具有自定义对抗学习目标的神经网络架构（Goodfellow 等人，2014 年）。GAN 由两个以零和博弈形式相互竞争的神经网络组成，从而生成特定分布的样本。正式来说，第一个网络 G 称为生成器，用于生成候选样本。第二个网络 D 称为鉴别器，用于评估候选样本来自期望分布的可能性。得益于对抗性学习目标，生成器学习从潜在空间映射到感兴趣的数据分布，而鉴别器则将生成器生成的候选样本与真实数据分布区分开来（见图 2）。(大型) 语言模型 (大型) 语言模型 (LLM) 是指用于建模和生成文本数据的神经网络，通常结合了三个特征。首先，语言模型使用大规模、顺序神经网络（例如，具有注意力机制的 Transformer）。其次，神经网络通过自我监督进行预训练，其中辅助任务旨在学习自然语言的表示而不存在过度拟合的风险（例如，下一个单词预测）。第三，预训练利用大规模文本数据集（例如，维基百科，甚至多语言数据集）。最终，语言模型可以由从业者使用针对特定任务（例如，问答、自然语言生成）的自定义数据集进行微调。最近，语言模型已经发展成为所谓的 LLM，它结合了数十亿个参数。大规模 LLM 的突出例子是 BERT（Devlin 等人，2018 年）和 GPT-3（Brown 等人，2020 年），分别具有 ∼ 3.4 亿和 ∼ 1750 亿个参数。提示是语言模型的特定输入（例如，“这部电影很精彩。从人类反馈中进行强化学习 RLHF 从人类反馈中学习顺序任务（例如聊天对话）。与传统强化学习不同，RLHF 直接从人类反馈中训练所谓的奖励模型，然后将该模型用作奖励函数来优化策略，该策略通过数据高效且稳健的算法进行优化（Ziegler 等人，2019 年）。RLHF 用于 ChatGPT（OpenAI，2022 年）等对话系统，用于生成聊天消息，以便新答案适应之前的聊天对话并确保答案符合预定义的人类偏好（例如长度、风格、适当性）。提示学习 提示学习是一种 LLM 方法，它使用存储在语言模型中的知识来完成下游任务（Liu 等人，2023 年）。一般而言，提示学习不需要对语言模型进行任何微调，这使其高效且灵活。情绪：“），然后选择最可能的输出 s ∈{“positive”，“negative”} 而不是空间。最近的进展允许更复杂的数据驱动提示工程，例如通过强化学习调整提示（Liu et al.，2023）。seq2seq 术语序列到序列（seq2seq）是指将输入序列映射到输出序列的机器学习方法（Sutskever et al.，2014）。一个例子是基于机器学习的不同语言之间的翻译。此类 seq2seq 方法由两个主要组件组成：编码器将序列中的每个元素（例如，文本中的每个单词）转换为包含元素及其上下文的相应隐藏向量。解码器反转该过程，将向量转换为输出元素（例如，来自新语言的单词），同时考虑先前的输出以对语言中的模型依赖关系进行建模。seq2seq 模型的思想已得到扩展，以允许多模态映射，例如文本到图像或文本到语音的映射。Transformer Transformer 是一种深度学习架构（Vaswani 等，2017），它采用自注意力机制，对输入数据的每个部分的重要性进行不同的加权。与循环神经网络 (RNN) 一样，Transformer 旨在处理顺序输入数据（例如自然语言），可用于翻译和文本摘要等任务。但是，与 RNN 不同，Transformer 会一次性处理整个输入。注意力机制为输入序列中的任何位置提供上下文。最终，Transformer（或一般的 RNN）的输出是文档嵌入，它呈现文本（或其他输入）序列的低维表示，其中相似的文本位于更近的位置，这通常有利于下游任务，因为这允许捕获语义和含义 (Siebers et al., 2022)。变分自动编码器 变分自动编码器 (VAE) 是一种神经网络，它被训练来学习输入数据的低维表示，方法是将输入数据编码到压缩的潜在变量空间中，然后从该压缩表示中重建原始数据。VAE 与传统自动编码器的不同之处在于，它使用概率方法进行编码和解码过程，这使它们能够捕获数据中的底层结构和变化，并从学习到的潜在空间中生成新的数据样本 (Kingma and Welling, 2013)。这使得它们不仅可用于异常检测和数据压缩等任务，还可用于图像和文本生成。零样本学习/小样本学习 零样本学习和小样本学习是指机器学习处理数据稀缺问题的不同范例。零样本学习是指教会机器如何从数据中学习一项任务，而无需访问数据本身，而小样本学习是指只有少数特定示例的情况。零样本学习和小样本学习在实践中通常是可取的，因为它们降低了建立 AI 系统的成本。LLM 是小样本或零样本学习器（Brown 等人，2020 年），因为它们只需要一些样本即可学习一项任务（例如，预测评论的情绪），这使得 LLM 作为通用工具具有高度灵活性。