XiaoMi-AI文件搜索系统
World File Search SystemDNNS
将 DNN 从本地加速到云端虚拟化 FPGA：趋势调查
现场可编程门阵列（FPGA）被广泛用于本地加速深度神经网络（DNN）算法，具有高计算吞吐量和能效。虚拟化FPGA和在云端部署FPGA正成为越来越有吸引力的DNN加速方法，因为它们可以增强计算能力，实现跨多用户的按需加速。在过去的五年中，研究人员广泛研究了基于FPGA的DNN加速器的各个方向，例如算法优化、架构探索、容量改进、资源共享和云构建。然而，以前的DNN加速器调查主要集中于在本地FPGA上优化DNN性能，而忽略了将DNN加速器放置在云端FPGA中的趋势。在本研究中，我们深入研究了基于FPGA的DNN加速器中使用的技术，包括但不限于架构设计、优化策略、虚拟化技术和云服务。此外，我们还研究了 DNN 加速器的演进，例如从单个 DNN 到框架生成的 DNN、从物理到虚拟化 FPGA、从本地到云、从单用户到多租户。我们还确定了云端 DNN 加速的重大障碍。本文增强了对基于 FPGA 的 DNN 加速器演进的当前理解。
无需用户特定训练即可为 SSVEP BCI 拼写者迁移学习一组 DNN
摘要 — 目标：用脑电图 (EEG) 测量的稳态视觉诱发电位 (SSVEP) 在脑机接口 (BCI) 拼写器中产生不错的信息传输速率 (ITR)。然而，目前文献中高性能的 SSVEP BCI 拼写器需要对每个新用户进行初始冗长而累人的用户特定训练以适应系统，包括使用 EEG 实验收集数据、算法训练和校准（所有这些都在实际使用系统之前）。这阻碍了 BCI 的广泛使用。为了确保实用性，我们提出了一种基于深度神经网络 (DNN) 集合的全新目标识别方法，该方法不需要任何类型的用户特定训练。方法：我们利用先前进行的 EEG 实验的参与者的现有文献数据集，首先训练一个全局目标识别器 DNN，然后针对每个参与者进行微调。我们将这组经过微调的 DNN 集合转移到新的用户实例，根据参与者与新用户的统计相似性确定 k 个最具代表性的 DNN，并通过集合预测的加权组合来预测目标字符。结果：在两个大规模基准和 BETA 数据集上，我们的方法实现了令人印象深刻的 155.51 比特/分钟和 114.64 比特/分钟 ITR。代码可用于重现性：https://github.com/osmanberke/Ensemble-of-DNNs 结论：在两个数据集上，对于所有刺激持续时间在 [0.2-1.0] 秒内的情况，所提出的方法都明显优于所有最先进的替代方案。意义：我们的 Ensemble-DNN 方法有可能促进 BCI 拼写器在日常生活中的实际广泛部署，因为我们提供最高性能，同时允许立即使用系统而无需任何用户特定的训练。索引词 — 脑机接口、BCI、EEG、SSVEP、集成、深度学习、迁移学习
性能优化的深度神经网络正在发展为较差的颞下颞叶状性皮层
过去十年来计算神经科学中最有影响力的发现之一是，深神经网络（DNN）的对象识别准确性（DNNS）与他们预测依次（IT）皮质中自然图像的神经反应的能力相关[1,2]。这一发现支持了长期以来的理论，即对象识别是视觉皮层的核心目标，并建议更准确的DNN将作为IT神经元对图像的更好模型的响应[3-5]。从那时起，深度学习就进行了一场规模的革命：经过数十亿图像训练的十亿个参数规模的DNN在包括对象识别的视觉任务上竞争或超越人类。今天的DNN在对象识别方面变得更加准确，可以预测其对图像的神经元的响应变得更加准确？在三个独立的实验中，我们发现情况并非如此：DNN逐渐变得更糟，因为其精度在Imagenet上提高了。要了解为什么DNN经历这种权衡并评估它们是否仍然是建模视觉系统的适当范式，我们转向其录音，以捕获自然图像引起的神经元活动的空间分辨图[6]。这些神经元活动图表明，接受Imagenet训练的DNN学会依靠与由其编码的DNN相比，并且随着其准确性的提高，该问题恶化。我们成功解决了这个问题，这是DNNS的插件训练程序，它使他们学到的表现与人类保持一致[7]。我们的结果表明，统一的DNN破坏了ImageNet精度和神经预测准确性之间的权衡，从而攻击了当前的DNN，并为更准确的生物学视觉模型提供了途径。我们的工作表明，使用任务优化的DNNS需要进行修订的标准方法，以及其他生物学约束（包括人体心理物理学数据）需要准确地逆转视觉皮层。
在神经网络上作为无限树结构概率图形模型
深神经网络（DNNS）缺乏对概率图形模型（PGM）的精确语义和确定性的概率解释。在本文中，我们通过构造与神经网络完全相对应的无限树结构的PGM提出了创新的解决方案。我们的研究表明，在正向传播过程中，DNN确实执行了PGM推断的近似值，在这种替代PGM结构中是精确的。我们的研究不仅补充了将神经网络描述为内核机器或无限大小的高斯过程的现有研究，而且还阐明了DNNS对PGMS的精确推断进行更直接的近似。潜在的好处包括改进的教学法和DNN的解释以及可以合并PGM和DNN优势的算法。
CSCI5527：深度学习 - 模型，计算和应用程序Spring 2025
在过去的几年中，深度神经网络（DNN）从根本上改变了人们对机器学习和处理实际问题的看法。DNN的成功范围从传统的AI领域，例如计算机视觉，自然语言处理，互动游戏，医疗保健和物理科学，到理论和应用领域的每个角落。另一方面，DNN仍然在很大程度上充当黑匣子，我们对它们何时以及为什么工作的理解只有非常有限的理解。本课程介绍了DNN，样本重要应用的基本成分，并围绕开放问题。重点是从第一原则和基本构建基础进行思考，因为该领域仍在迅速发展，没有什么不能改变的。
用于选择分析的深度神经网络：提取完整的经济信息以供解释
尽管深度神经网络 (DNN) 越来越多地应用于选择分析并显示出很高的预测能力，但研究人员能在多大程度上解读来自 DNN 的经济信息尚不清楚。本文表明，DNN 可以提供与传统离散选择模型 (DCM) 一样完整的经济信息。经济信息包括选择预测、选择概率、市场份额、替代品的替代模式、社会福利、概率导数、弹性、边际替代率和异质时间值。与 DCM 不同，DNN 可以自动学习效用函数并揭示领域专家未预先指定的行为模式，尤其是在样本量较大的情况下。然而，当样本量较小时，从 DNN 获得的经济信息可能不可靠，因为自动学习能力面临三大挑战：对超参数的高度敏感性、模型不可识别和局部不规则性。第一个挑战与平衡 DNN 近似值和估计误差的统计挑战有关，第二个挑战与确定 DNN 训练中的全局最优值的优化挑战有关，第三个挑战与缓解估计函数的局部不规则模式的稳健性挑战有关。为了展示优势和挑战，我们使用来自新加坡的陈述偏好调查和来自伦敦的显示偏好数据来估计 DNN，从 DNN 中提取完整的经济信息列表，并将其与来自 DCM 的信息进行比较。我们发现，通过训练或人口汇总的经济信息比单个观察或训练的分解信息更可靠，并且更大的样本量、超参数搜索、模型集成和有效的正则化可以显著提高从 DNN 中提取的经济信息的可靠性。未来的研究应研究样本量的要求、更好的集成机制、其他正则化和 DNN 架构、更好的优化算法以及稳健的 DNN 训练方法，以解决 DNN 的三大挑战，为基于 DNN 的选择模型提供更可靠的经济信息。关键词：深度神经网络；机器学习；选择分析；可解释性。
视觉与深层神经网络中的内部注意机制用于图像分类和对象检测
深神经网络（DNN）中所谓的“注意机制”表示DNN的自动适应，以捕获具有特定分类任务和相关数据的代表性特征。这种注意机制通过加强特征通道和本地强调每个特征图中的特征来在全球范围内发挥作用。渠道和特征重要性是在全球端到端DNS培训过程中学习的。在本文中，我们提出了一项研究，并提出了一种具有不同方法的方法，并在训练图像旁边添加了补充视觉数据。我们使用人类的视觉注意图在任务驱动或自由观看条件下独立于心理视觉实验获得的人类视觉注意图，或者在自由观看条件下或预测视觉注意图的强大模型。我们在图像旁边添加了视觉注意图作为新数据，从而将人类的视觉注意力引入DNNS培训中，并将其与全球和局部自动注意机制进行比较。实验结果表明，DNN中的已知注意力机制几乎与人类的视觉关注在一起，但提出的方法仍然可以更快地收敛和在图像分类任务中更好地表现。
高对比度的“ Gaudy”图像改善了视觉皮层的深神经网络模型的训练
理解视觉系统的感觉转换的关键挑战是获得一个高度预测的模型，该模型将自然图像映射到神经反应。深神经网络（DNNS）为这种模型提供了有前途的候选人。但是，由于实验记录时间受到严重限制，DNN要求比神经科学家可以收集的训练数据多。这促使我们找到了用尽可能少的培训数据训练高度预测的DNN的图像。，我们提出了自然图像的高对比度，双核版本（Termed Gaudy图像），以有效地训练DNNS，以预测高阶的视觉皮质响应。在对真实神经数据的仿真实验和分析中，我们发现具有艳丽图像的训练DNN大大减少了准确预测对自然图像的响应所需的训练图像的数量。我们还发现，在训练之前选择的谨慎图像优于通过主动学习算法在训练期间选择的图像。因此，谨慎的图像过多地强调了自然图像的特征，这对于有效地训练DNN最重要。我们认为，艳丽的图像将有助于对视觉皮质神经元的建模，这有可能打开有关视觉处理的新科学问题。
大脑与其 DNN 模型之间的算法等效程度
深度神经网络 (DNN) 已成为一种强大且日益普遍的人类认知建模工具，并且经常产生类似的行为。例如，凭借其受大脑启发的分层计算组织，DNN 似乎以与人类相同的方式对现实世界的图像进行分类。这是否意味着它们的分类算法也相似？我们将问题框定为三个嵌入程度，逐步限制算法相似性评估：(i) 行为/大脑反应的等价性（这是当前的做法）、(ii) 处理以产生这些结果的刺激特征的等价性（这更具约束性）以及 (iii) 处理这些共享特征的算法的等价性（最终目标）。为了改进 DNN 作为认知模型的功能，我们为每个程度开发了一个越来越受约束的基准，该基准指定了考虑等价性的认识论条件。