XiaoMi-AI文件搜索系统
World File Search SystemDNN
![arXiv:2208.09677v2 [cs.CV] 2022 年 8 月 25 日](/simg/e\eed2127ddfd01a3975f9517c2f34298def8b628f.webp)
arXiv:2208.09677v2 [cs.CV] 2022 年 8 月 25 日
我们推出了 Net2Brain，这是一个图形和命令行用户界面工具箱，用于比较人工深度神经网络 (DNN) 和人类大脑记录的表征空间。虽然不同的工具箱只支持单一功能或只关注一小部分监督图像分类模型，但 Net2Brain 允许提取 600 多个 DNN 的激活，这些 DNN 经过训练可执行各种视觉相关任务（例如语义分割、深度估计、动作识别等），适用于图像和视频数据集。该工具箱计算这些激活的表征相异矩阵 (RDM)，并使用表征相似性分析 (RSA)、加权 RSA 将它们与大脑记录进行比较，无论是在特定的 ROI 中还是在探照灯搜索中。此外，还可以将一组新的刺激和大脑记录数据集添加到工具箱中进行评估。我们通过一个例子展示了 Net2Brain 的功能和优势，展示了如何使用它来检验认知计算神经科学的假设。
QDNN：具有量子层的深度神经网络
量子计算机利用量子力学原理进行计算，在许多计算问题上比经典计算机更强大（Shor 1994；Grover 1996）。许多量子机器学习算法被开发出来，例如量子支持向量机、量子主成分分析和量子玻尔兹曼机（Wiebe 等 2012；Schuld 等 2015a；Biamonte 等 2017；Rebentrost 等 2014；Lloyd 等 2014；Amin 等 2018；Gao 等 2018），这些算法被证明比经典版本更有效。近年来，DNN（LeCun et al. 2015 ）成为机器学习中最重要和最强大的方法，广泛应用于计算机视觉（Voulodimos et al. 2018 ）、自然语言处理（Socher et al. 2012 ）等许多领域。DNN的基本单元是感知器，它由一个仿射变换和一个激活函数组成。激活函数的非线性和深度赋予了DNN很多的表示能力
信念理论与深度学习
深入了解不确定性是做出不确定情况下有效决策的第一步。深度/机器学习 (ML/DL) 已被广泛用于解决处理高维数据的复杂问题。然而，与其他人工智能 (AI) 领域相比，ML/DL 中对推理和量化不同类型的不确定性以实现有效决策的探索要少得多。特别是，自 1960 年代以来，KRR 中就开始研究信念/证据理论，以推理和衡量不确定性，从而提高决策效率。我们发现，只有少数研究利用 ML/DL 中信念/证据理论中成熟的不确定性研究来解决不同类型不确定性下的复杂问题。在这篇综述论文中，我们讨论了几种流行的信念理论及其核心思想，这些思想处理不确定性的原因和类型并对其进行量化，并讨论了它们在 ML/DL 中的适用性。此外，我们还讨论了深度神经网络 (DNN) 中利用信念理论的三种主要方法，包括证据 DNN、模糊 DNN 和粗糙 DNN，以及它们的不确定性原因、类型和量化方法以及它们在不同问题领域的适用性。基于我们的深入调查，我们讨论了当前最先进的桥接信念理论和 ML/DL 的见解、经验教训和局限性，最后讨论了未来的研究方向。
钥匙孔模式多层激光的同步加速器成像
摘要 - 构成物联网（IoT）的数十亿个对象，预计将生成量的数据量。各种自动化服务（例如监视）将在很大程度上取决于使用不同的机器学习（ML）算法。传统上，ML模型由集中式云数据中心处理，在该中心，IoT读数通过访问，地铁和核心层中的多个网络啤酒花将云卸载到云中。这种方法不可避免地会导致过度的网络功耗以及服务质量（QoS）降解，例如增加延迟。相反，在本文中，我们提出了一种分布式的ML方法，除了云外，还可以在IoT节点和雾式服务器等中介设备中进行处理。我们将ML模型抽象成虚拟服务请求（VSR），以表示深神经网络（DNN）的多个互连层。使用混合整数线性编程（MILP），我们设计了一个优化模型，该模型以能源有效的方式在云/雾网络（CFN）中分配DNN的层。我们评估了DNN输入分布对CFN性能的影响，并将这种方法的能效与基线的能源效率进行比较，在该基线中，在集中式云数据中心（CDC）中处理了所有DNN的所有层。
人工智能系统的新兴光学互连 - 人员
大规模人工智能系统是现代在线服务的基础。随着世界从新冠肺炎疫情中恢复，人们对人工智能驱动的在线服务的依赖日益加深。然而，当今的网络难以满足新兴人工智能工作负载带来的高带宽、低端到端延迟和高可用性要求。例如，机器学习 (ML) 应用的爆炸式增长对分布式训练产生了巨大的需求。硬件加速器（如 GPU 和 TPU）大大提高了计算能力，但当今的深度神经网络 (DNN) 仍需要数天甚至数周的时间才能完成训练。许多因素都会影响大型 DNN 作业的训练时间，包括并行化策略、模型/数据大小、软件库和互连网络。因此，人们提出了大量框架来有效地在当今的数据中心中分发和训练 DNN 模型 [1–4]。然而，当今的系统往往只优化计算和通信维度。因此，共同优化网络拓扑以及计算和通信维度对加速 DNN 训练的影响在很大程度上被忽略了。本文主张将网络拓扑重新配置为额外的加速维度，以跨计算、通信和拓扑维度联合优化 DNN 训练作业。为数据中心流量重新配置网络拓扑是网络和光学社区的一个热门话题。多篇学术论文展示了基于光可重构电路交换机的互连对数据中心工作负载的好处 [5, 6]。然而，之前的工作仅考虑将光互连用于通用数据中心流量，例如网络搜索、存储和云。本文没有关注通用数据中心工作负载，而是将注意力转向分布式 ML 工作负载，并认为可重构光互连是构建下一代 ML 数据中心的一个有吸引力的解决方案。为此，有三个挑战需要解决。
大脑优化的神经网络学习人类视觉皮层中的非层次化表征模型
经过训练以执行视觉任务的深度神经网络 (DNN) 会学习与灵长类动物大脑中视觉区域层次结构相一致的表征。这一发现意味着灵长类动物的视觉系统通过将表征传递给大脑区域的层次序列来形成表征，就像 DNN 通过将表征传递给层的层次序列来形成表征一样。为了检验这一假设的有效性，我们优化了 DNN，使其不执行视觉任务，而是直接预测人类视觉区域 V1–V4 中的大脑活动。通过大量人类大脑活动样本，我们构建了针对大脑优化的网络，它比针对任务优化的网络更准确地预测大脑活动。我们表明，针对大脑优化的网络可以学习与严格层次结构中形成的表征不同的表征。针对大脑优化的网络不需要将 V1–V4 中的表征与层深度对齐；此外，它们能够准确地模拟前脑区域（例如 V4），而无需计算与后脑区域（例如 V1）相关的中间表示。我们的研究结果挑战了人类视觉区域 V1–V4（就像 DNN 的早期层）充当更高级区域的串行预处理序列的观点，并表明它们可能有助于它们自己的独立功能。
对象识别的深神经网络模型中的生成感知推断会引起虚幻的轮廓和形状
虚幻的轮廓和塑造突出了自然和人造视力如何感知世界之间的巨大差距。在这项研究中，我们表明，模式识别模型体现了一个生成模型，该模型整合了pi脚先验和感官处理。我们介绍了一种新型的感知算法，生成感知推理（GPI），该算法通过在早期层中积累传播误差来迭代地更新激活。鉴于Kanizsa正方形作为针对可靠对象分类的深神经网络（DNN）的输入，我们的结果表明，运行GPI导致了感知到的“白色广场”区域中类似边缘模式的出现。此外，当GPI用鲁宾的花瓶图像作为输入应用于同一DNN时，它会创建类似花瓶的模式，而GPI在具有相同体系结构的DNN中，但对面部识别进行了优化，从而创建了类似面部的模式。因此，我们通过可捕获有关动物和人类幻觉的实验发现的可构成图像计算算法发现了自然图像事先与虚幻轮廓和形状感知之间的直接联系。更广泛地，这项工作将视觉皮层的视图既是统一框架中的模式识别和生成模型。
![arxiv：2404.01769v1 [cs.lg] 2024年4月2日](/simg/d\d95b759ebd6bed6b12bc345584714d55f28ad964.webp)
arxiv：2404.01769v1 [cs.lg] 2024年4月2日
摘要。深度加强学习技术的快速进步可以通过使用深神经网络（DNNS）来监督安全 - 关键系统。这强调了迫切需要为此类DNN控制系统建立精心设计的安全保证。大多数现有的验证方法都取决于定性方法，主要是使用可达性分析。但是，定性验证证明了DNN控制的系统不足，因为在开放和对抗环境中运行时，其行为表现出随机趋势。在本文中，我们提出了一个新的框架，用于统一DNN控制系统的定性和定量安全验证概率。这是通过将验证任务作为有效神经屏障证书（NBC）的综合来实现的。最初，该框架试图通过定性验证来建立几乎固定的安全保证。在定性验证失败的情况下，我们调用了我们的定量验证方法，在无限和有限的时间范围内都可以在概率安全性上获得精确的下限和上限。为了促进NBC的合成，我们引入了它们的𝑘诱导变体。我们还设计了一种模拟引导的训练NBC的方法，旨在在计算精确认证的上限和上限时达到紧密度。我们将方法原型化为一个名为uniqq的工具，并在四个经典的DNN控制系统上展示了其e ffi cacy。
使用深神网络和稀疏自动编码器
基于大脑计算机界面（BCI）系统的情绪分类是一个吸引人的研究主题。最近，已经对BCI系统的情绪分类进行了深入学习，并与传统的分类方法进行了比较。在本文中，提出了一种新型的深层神经网络，用于使用脑电图系统进行情绪分类，该系统结合了卷积神经网络（CNN），稀疏自动编码器（SAE）和深神经网络（DNN）。在拟议的网络中，CNN提取的功能首先发送到SAE进行编码和解码。然后将冗余降低的数据用作分类任务的DNN的输入特征。使用DEAP和种子的公共数据集用于测试。实验结果表明，所提出的网络比情绪识别的常规CNN方法更有效。对于DEAP数据集，价值和唤醒的最高识别精度分别达到了89.49％和92.86％。但是，对于种子数据集，最佳识别精度达到96.77％。通过组合CNN，SAE和DNN并分别训练它们，提出的网络被显示为具有比常规CNN更快的收敛速度的有效方法。
ubrain：一单位脑电脑接口
大脑计算机界面（BCIS）已被广泛采用，以通过具有丰富的空间时间动力学（例如脑电图（EEG））来增强人类感知。近年来，BCI算法正在从经典的功能工程转变为新兴的深神经网络（DNN），从而可以以提高精度识别时空动力学。但是，省BCI体系结构并没有利用这种动力来实现硬件。在这项工作中，我们提出了ubrain，这是一种具有级联卷积和经常性神经网络的DNN模型的一级计算bci架构，以实现高任务能力和硬性功能。ubrain共同设计算法和硬件：DNN体系结构和硬件体系结构分别通过自定义的单一操作和传感后的即时信号处理进行了优化。实验表明，由于精确的准确性损失可忽略不计，超过了CPU，收缩期阵列和固定计算基线的基准，在片上功率的效率上超过了9。0⇥，6。2⇥和2。0⇥。