XiaoMi-AI文件搜索系统
World File Search SystemDNNS
神经网络
深度神经网络 (DNN) 已成为对大脑和行为进行建模的重要工具。一个关键的关注领域是将这些网络应用于对人类相似性判断进行建模。之前的一些研究使用了视觉 DNN 倒数第二层的嵌入，并表明对这些特征进行重新加权可以改善人类相似性判断与 DNN 之间的契合度。这些研究强调了这样一种观点，即这些嵌入形成了良好的基础集，但缺乏正确的显着性水平。在这里，我们重新审视了这一想法的依据，相反，我们假设这些嵌入除了形成良好的基础集之外，还具有正确的显着性水平来解释相似性判断。只是需要修剪大维嵌入以选择与相似性空间建模所考虑的领域相关的特征。在研究 1 中，我们根据人类相似性判断的子集监督了 DNN 修剪。我们发现，剪枝：i) 改进了 DNN 嵌入中人类相似性判断的样本外预测，ii) 与 WordNet 层次结构产生更好的对齐，iii) 保留了比重新加权更高的分类准确率。研究 2 表明，通过神经生物学数据进行剪枝对于改进 DNN 嵌入中大脑衍生的表征相异矩阵的样本外预测非常有效，有时可以充实原本无法观察到的同构。使用剪枝后的 DNN，可以生成图像级热图来识别特征加载在由大脑区域编码的维度上的图像部分。因此，由人类大脑/行为监督的剪枝可以有效地识别 DNN 和人类之间可对齐的知识维度，并构成一种理解神经网络中知识组织的有效方法。© 2023 作者。由 Elsevier Ltd. 出版。这是一篇根据 CC BY 许可协议 ( http://creativecommons.org/licenses/by/4.0/ ) 开放获取的文章。
大脑优化的神经网络学习人类视觉皮层中的非层次化表征模型
经过训练以执行视觉任务的深度神经网络 (DNN) 会学习与灵长类动物大脑中视觉区域层次结构相一致的表征。这一发现意味着灵长类动物的视觉系统通过将表征传递给大脑区域的层次序列来形成表征，就像 DNN 通过将表征传递给层的层次序列来形成表征一样。为了检验这一假设的有效性，我们优化了 DNN，使其不执行视觉任务，而是直接预测人类视觉区域 V1–V4 中的大脑活动。通过大量人类大脑活动样本，我们构建了针对大脑优化的网络，它比针对任务优化的网络更准确地预测大脑活动。我们表明，针对大脑优化的网络可以学习与严格层次结构中形成的表征不同的表征。针对大脑优化的网络不需要将 V1–V4 中的表征与层深度对齐；此外，它们能够准确地模拟前脑区域（例如 V4），而无需计算与后脑区域（例如 V1）相关的中间表示。我们的研究结果挑战了人类视觉区域 V1–V4（就像 DNN 的早期层）充当更高级区域的串行预处理序列的观点，并表明它们可能有助于它们自己的独立功能。
在 Starkey Edge AI 中利用 DNN
机器学习技术通常用于助听器领域，最常见的方法是识别不同类型的声学环境，尤其是在有语音的情况下。这些算法通常在外部计算机上进行训练，并在助听器中实施缩小版，仅受处理能力和助听器内存限制的限制。深度神经网络 (DNN) 是机器学习的一个子集，它为创建更复杂、更准确的算法提供了可能性。DNN 试图通过创建节点和层的网格来模仿大脑处理信息的方式，这些节点和层可以在经过广泛训练后解码信息。虽然 DNN 背后的概念无处不在，但它在不同品牌的助听器中并不一定以相同的方式实现。
深度操作员的学习减少了PDE的维度的诅咒
深层神经网络（DNNS）在众多领域取得了巨大的成功，并且它们在与PDE相关的问题上的应用正在迅速发展。本文使用DNN将学习Lipschitz操作员在Banach空间上使用DNN的概括错误提供了估计，并将其应用于各种PDE解决方案操作员。目标是指定DNN宽度，深度以及保证某个测试错误所需的训练样本数量。在对数据分布或操作员结构的轻度假设下，我们的分析表明，深层操作员学习可以放松地依赖PDE的离散化解决方案，从而减少许多与PDE相关的问题的诅咒，包括椭圆方程，抛物线方程，抛物线方程和汉堡方程。我们的结果还适用于在操作员学习中有关离散化侵权的见解。
多模式和多任务自动驾驶数据集
当前用于自动驾驶计算机视觉的深层神经网络（DNNS）通常在仅涉及单一类型的数据和urban场景的特定数据集上进行培训。因此，这些模型努力使新物体，噪音，夜间条件和各种情况，这对于安全至关重要的应用至关重要。尽管持续不断努力增强计算机视觉DNN的弹性，但进展一直缓慢，部分原因是缺乏具有多种模式的基准。我们介绍了一个名为Infraparis的新颖和多功能数据集，该数据集支持三种模式的多个任务：RGB，DEPTH和INDRARED。我们评估了各种最先进的基线技术，涵盖了语义分割，对象检测和深度估计的任务。更多可视化和
DNA-TEQ：用于 DNN 推理的自适应指数量化张量
摘要 — 量化通常用于深度神经网络 (DNN)，通过降低激活和权重（又称张量）的算术精度来减少存储和计算复杂度。高效的硬件架构采用线性量化，以便将最新的 DNN 部署到嵌入式系统和移动设备上。然而，线性均匀量化通常无法将数值精度降低到 8 位以下，而不会牺牲模型精度方面的高性能。性能损失是由于张量不遵循均匀分布。在本文中，我们表明大量张量符合指数分布。然后，我们提出 DNA-TEQ 以自适应方案对 DNN 张量进行指数量化，以在数值精度和精度损失之间实现最佳权衡。实验结果表明，DNA-TEQ 提供的量化位宽比以前的方案低得多，平均压缩率比线性 INT8 基线高出 40%，准确度损失可以忽略不计，并且无需重新训练 DNN。此外，DNA-TEQ 在指数域中执行点积运算方面处于领先地位。对于一组广泛使用的 DNN，与基于 3D 堆叠内存的基线 DNN 加速器相比，DNA-TEQ 平均可提供 1.5 倍的加速和 2.5 倍的节能。索引术语 —DNN、量化、指数、Transformer
表征深神经网络中子诱导的断层模型
摘要 - 在图形处理单元（GPU）上执行的深神经网络（DNN）的可靠性评估是一个具有挑战性的问题，因为硬件体系结构非常复杂，软件框架由许多抽象层组成。虽然软件级故障注入是评估复杂应用程序可靠性的一种常见且快速的方法，但它可能会产生不切实际的结果，因为它对硬件资源的访问有限，并且采用的故障模型可能太幼稚（即单位和双位翻转）。相反，用中子光束注射物理断层提供了现实的错误率，但缺乏故障传播可见性。本文提出了DNN故障模型的表征，该模型在软件级别结合了中子束实验和故障注入。我们将运行一般矩阵乘法（GEMM）和DNN的GPU暴露于梁中子，以测量其错误率。在DNNS上，我们观察到关键错误的百分比可能高达61％，并表明ECC在减少关键错误方面无效。然后，我们使用RTL模拟得出的故障模型进行了互补的软件级故障注入。我们的结果表明，通过注射复杂的断层模型，Yolov3的误导率被验证为非常接近通过光束实验测得的速率，该速率比仅使用单位倒换的断层注射测量的频率高8.66倍。
深度光学和光子学在人工智能中的透视推理
计算系统的能力正与其试图理解的海量视觉数据展开一场“军备竞赛”。在自动驾驶、机器人视觉、智能家居、遥感、显微镜、监控、国防和物联网等一系列应用中，计算成像系统记录和处理大量人类无法看到的数据，而是由基于人工智能 (AI) 的算法进行解释。在这些应用中，深度神经网络 (DNN) 正迅速成为视觉数据处理的标准算法方法 1-3。这主要是因为 DNN 在所有领域都取得了最先进的结果，而且往往领先优势很大。深度学习的最新突破得益于现代图形处理单元 (GPU) 的巨大处理能力和并行性，以及海量视觉数据集的可用性，这些数据集使得 DNN 能够使用监督机器学习策略进行高效训练。然而，运行日益复杂的神经网络的高端 GPU 和其他加速器对功率和带宽的需求巨大；它们需要大量的处理时间和笨重的外形尺寸。这些限制使得在边缘设备（如摄像头、自动驾驶汽车、机器人或物联网外设）中采用 DNN 具有挑战性。以自动驾驶汽车中的视觉系统为例，它们必须使用有限的计算资源即时做出稳健的决策。高速行驶时，瞬间的决策可以决定生死。事实上，几乎所有边缘设备都会受益于更精简的计算成像系统，提供更低的延迟和尺寸、重量和功率的改进。DNN 的两个阶段（训练和推理）的计算要求非常不同。在训练阶段，DNN 被输入大量标记示例，并使用迭代方法，其参数针对特定任务进行优化。训练完成后，DNN 用于推理，其中某些输入数据（例如图像）在前馈过程中通过网络发送一次，以计算所需的结果。在某些应用中，GPU 用于推理，但由于上述原因，对于许多边缘设备而言，这是不切实际的。
ARL 在 AI 和 ML 方面的重要研究领域
创新：描述了深度神经网络 (DNN) 因训练不完善而产生的脆弱性；引入了新型算法来制作对抗样本，并展示了对抗样本的跨模型可转移性；开发了一种防御机制——蒸馏——以降低对抗样本的有效性。
白皮书 - 可靠的 AI 数据标记流程
i 研究人员已经证明深度神经网络 (DNN) 可能会被各种（“对抗性”）攻击 1 所欺骗，包括对单个图像像素的更改 2 和物理世界中的攻击 3,4。因此，人们研究了针对对抗性攻击的对策 5,6。ii 常见的 DNN 类型，例如卷积神经网络 (CNN)，并没有提供可靠的置信度指标。不确定性度量对于设计可靠的系统至关重要，这些系统可在置信度较低时做出反应，例如通过系统性能下降。人们研究了能够克服这一根本缺陷的 CNN 扩展，并取得了有希望的结果 7,8。iii DNN 通常由数百万个参数组成，这些参数人类无法直观理解。因此，DNN 的故障通常无法追溯到原因，这大大降低了可调试性和安全性分析的可能性。探索这一领域（“可解释的人工智能”）的研究已经产生了有用的方法 9,10，这些方法通常通过视觉表示显着提高可解释性。