XiaoMi-AI文件搜索系统
World File Search SystemDNNS
FPGA SoC 平台上深度神经网络的时间可预测加速
摘要 — 本研究重点研究了在 FPGA 片上系统 (SoC) 上加速的深度神经网络 (DNN) 的时间可预测执行。本文考虑了 Xilinx 的现代 DPU 加速器。针对 Zynq Ultrascale+ 平台进行了广泛的分析活动，以研究 DPU 在加速一组用于高级驾驶辅助系统 (ADAS) 的最先进的 DNN 时的执行行为。基于分析，提出了一个执行模型，然后用于得出响应时间分析。还提出了一个名为 DICTAT 的定制 FPGA 模块，以提高 DNN 加速的可预测性并收紧分析界限。最后，基于分析界限和目标平台的测量结果，提供了一组丰富的实验结果，以评估所提出的方法在 ADAS 应用上的有效性和性能。
视觉皮层的高性能神经网络模型受益于高潜在维数
深度神经网络 (DNN) 的几何描述有可能揭示神经科学中计算模型的核心原理，同时抽象出模型架构和训练范例的细节。在这里，我们通过量化其自然图像表示的潜在维数来检查视觉皮层的 DNN 模型的几何形状。一种流行的观点认为，最佳 DNN 将其表示压缩到低维子空间以实现不变性和鲁棒性，这表明更好的视觉皮层模型应该具有低维几何形状。令人惊讶的是，我们发现了一个相反方向的强烈趋势——在预测猴子电生理学和人类 fMRI 数据中对伸出刺激的皮层反应时，具有高维图像子空间的神经网络往往具有更好的泛化性能。这些发现适用于 DNN 的各种设计参数，它们提出了一个普遍原则，即高维几何形状为视觉皮层的 DNN 模型带来了显著的好处。
通过脑电图信号测量人类决策信心...
摘要 — 在本文中，我们研究了使用脑电图 (EEG) 信号进行物体检测任务中图像解释过程中人类的决策信心。我们开发了一个从 14 名受试者获取的 EEG 数据集。采用五种流行的 EEG 特征，即差分熵 (DE)、功率谱密度 (PSD)、差分不对称 (DASM)、有理不对称 (RASM) 和不对称 (ASM)，以及两个分类器，即支持向量机 (SVM) 和带快捷连接的深度神经网络 (DNNS)，来测量物体检测任务中的决策信心。分类结果表明，对于五个决策信心水平，带有 DNNS 模型的 DE 特征实现了 47.36% 的最佳准确率和 43.5% 的 F1 分数。对于极端信心水平，识别准确率达到 83.98%，平均 F1 分数为 80.93%。我们还发现，delta 波段的表现优于其他四个波段，并且前额叶区域和顶叶区域可能是代表物体检测任务中的决策信心的敏感大脑区域。
信念理论与深度学习
深入了解不确定性是做出不确定情况下有效决策的第一步。深度/机器学习 (ML/DL) 已被广泛用于解决处理高维数据的复杂问题。然而，与其他人工智能 (AI) 领域相比，ML/DL 中对推理和量化不同类型的不确定性以实现有效决策的探索要少得多。特别是，自 1960 年代以来，KRR 中就开始研究信念/证据理论，以推理和衡量不确定性，从而提高决策效率。我们发现，只有少数研究利用 ML/DL 中信念/证据理论中成熟的不确定性研究来解决不同类型不确定性下的复杂问题。在这篇综述论文中，我们讨论了几种流行的信念理论及其核心思想，这些思想处理不确定性的原因和类型并对其进行量化，并讨论了它们在 ML/DL 中的适用性。此外，我们还讨论了深度神经网络 (DNN) 中利用信念理论的三种主要方法，包括证据 DNN、模糊 DNN 和粗糙 DNN，以及它们的不确定性原因、类型和量化方法以及它们在不同问题领域的适用性。基于我们的深入调查，我们讨论了当前最先进的桥接信念理论和 ML/DL 的见解、经验教训和局限性，最后讨论了未来的研究方向。
使用夸张的视觉层次结构映射改善视觉识别
视觉场景是自然组织的，在层次结构中，粗糙的语义递归由几个细节组成。探索这种视觉层次结构对于认识视觉元素的复杂关系至关重要，从而导致了全面的场景理解。在本文中，我们提出了一个视觉层次结构映射器（HI-MAPPER），这是一种增强对预训练的深神经网络（DNNS）结构化理解的新方法。hi-mapper通过1）通过概率密度的封装来调查视觉场景的层次结构组织； 2）学习双曲线空间中的分层关系，并具有新颖的分层对比损失。预定义的层次树通过层次结构分解和编码过程递归地与预训练的DNN的视觉特征相互作用，从而有效地识别了视觉层次结构并增强了对整个场景的识别。广泛的实验表明，Hi-Mapper显着增强了DNN的表示能力，从而改善了各种任务的性能，包括图像分类和密集的预测任务。代码可在https://github.com/kwonjunn01/hi-mapper上找到。
使用深神经网络从后顶层皮层解码
抽象目标。运动解码对于翻译脑部计算机界面（BCIS）的神经活动至关重要，并提供了有关如何在大脑中编码运动态的信息。深神经网络（DNNS）正在成为有前途的神经解码器。尽管如此，目前尚不清楚DNN在不同的电机解码问题和方案中的表现如何，哪个网络可以成为入侵性BCIS的良好候选人。方法。完全连接，卷积和复发性神经网络（FCNN，CNNS，RNNS）设计并应用于从麦克拉（Macaques）后顶叶皮层（PPC）中从V6A区域记录的神经元中解释运动态。考虑了三个运动任务，涉及到达和到达（后者在两个照明条件下）。dnns使用试用课程中的滑动窗口接近3D空间中的九个到达终点。为了评估模拟各种场景的解码器，还分析了性能，同时人为地减少了记录的神经元和试验的数量，并在执行从一项任务到另一个任务的转移学习时。最后，准确的时间课程用于分析V6A电机编码。主要结果。dnns的表现优于经典的幼稚贝叶斯分类器，而CNN在整个电机解码问题上还优于XGBoost和支持向量机分类器。cnns使用较少的神经元和试验时，导致了表现最佳的DNN，并且任务对任务转移学习改善了性能，尤其是在低数据制度中。意义。最后，V6A神经元甚至从动作计划中编码并触及到gr的属性，稍后发生握把属性的编码，更接近移动执行，并且在黑暗中显得较弱。结果表明，CNN是有效的候选者，可以从PPC记录中实现人类侵入性BCI的神经解码器，这也减少了BCI校准时间（转移学习），并且基于CNN的数据驱动分析可以提供有关大脑区域的编码特性和功能性启动的见解。
获得更精简的深度神经网络，一次性解码大脑功能连接组
神经科学知识指出大脑功能活动的相关性中存在冗余。当使用深度神经网络 (DNN) 模型对神经影像数据集进行分类时，可以消除这些冗余以缓解过度拟合的问题。我们提出了一种算法，该算法以分层方式删除 DNN 中不重要的节点，然后一次性添加一组相关特征。在使用功能性 MRI 数据集对患者和健康对照进行实验时，我们能够获得更简单、更通用的 DNN。获得的 DNN 仅使用初始可训练参数的 2% 左右，却能保持与完整网络相似的性能。此外，我们使用训练后的网络从功能性连接组中识别多种脑部疾病的显著脑区和连接。发现所识别的生物标志物与之前已知的疾病生物标志物密切相关。所提出的方法具有跨模态应用，可获得更精简的 DNN，似乎能更好地拟合数据。相应的代码可在 https://github.com/SCSE-Biomedical-Computing-Group/LEAN_CLIP 获得。
软件定义设计空间探索，实现高效...
摘要 — 深度神经网络 (DNN) 已被证明在图像识别、物体检测、机器人技术和自然语言处理等广泛应用中均优于传统机器学习算法。然而，DNN 的高计算复杂度通常需要极其快速和高效的硬件。随着神经网络规模呈指数级增长，问题变得更加严重。因此，已经开发了定制的硬件加速器来加速 DNN 处理而不牺牲模型准确性。然而，以前的加速器设计研究没有充分考虑目标应用程序的特点，这可能导致架构设计次优。另一方面，已经开发了新的 DNN 模型以提高准确性，但它们与底层硬件加速器的兼容性往往被忽视。在本文中，我们提出了一个应用驱动的框架，用于探索 DNN 加速器的架构设计空间。该框架基于单个 DNN 操作的硬件分析模型。它将加速器设计任务建模为一个多维优化问题。我们证明它可以有效地用于应用驱动的加速器架构设计：我们使用该框架优化八个代表性 DNN 的加速器配置，并选择具有最高几何平均性能的配置。相对于仅针对每个 DNN 优化的架构配置，所选 DNN 配置的几何平均性能改进范围为 12.0% 至 117.9%。给定一个目标 DNN，该框架可以生成具有优化性能和面积的高效加速器设计解决方案。此外，我们探索了在同时使用多种 DNN 应用的情况下使用该框架进行加速器配置优化的机会。该框架还能够改进神经网络模型，以最适合底层硬件资源。我们证明它可用于分析目标 DNN 的操作与相应加速器配置之间的关系，在此基础上可以调整 DNN 以在给定加速器上获得更好的处理效率，而不会牺牲准确性。
将轻质软错误缓解技术应用于嵌入式混合精度深神经网络
摘要 - 深度神经网络（DNNS）在资源约束的IoT设备中不存在，该设备通常依赖于减少的内存足迹和低绩效处理器。虽然DNNS的精度和性能可能会有所不同，而且至关重要，但要以低成本提供高可靠性的训练有素的模型也至关重要。要达到不屈的可靠性和安全水平，必须为电子计算系统提供适当的机制来解决软误差。因此，本文研究了软错误与模型准确性之间的关系。在这方面，考虑到在ARM Cortex-M处理器上运行的精确位刻度变化（2、4和8位），对Mobilenet模型进行了广泛的软误差评估。此外，这项工作促进了使用寄存器分配技术（RAT）的使用，该技术将关键DNN功能/层分配给特定通用通用处理器寄存器库。从超过450万个故障注射中获得的结果表明，大鼠提供了最佳的相对性能，内存利用和软错误可靠性权衡W.R.T.一种更传统的基于复制的方法。结果还表明，Mobilenet软误差可靠性取决于其卷积层的精确度。