XiaoMi-AI文件搜索系统
World File Search SystemDNN
性能优化的深度神经网络正在发展为较差的颞下颞叶状性皮层
过去十年来计算神经科学中最有影响力的发现之一是，深神经网络（DNN）的对象识别准确性（DNNS）与他们预测依次（IT）皮质中自然图像的神经反应的能力相关[1,2]。这一发现支持了长期以来的理论，即对象识别是视觉皮层的核心目标，并建议更准确的DNN将作为IT神经元对图像的更好模型的响应[3-5]。从那时起，深度学习就进行了一场规模的革命：经过数十亿图像训练的十亿个参数规模的DNN在包括对象识别的视觉任务上竞争或超越人类。今天的DNN在对象识别方面变得更加准确，可以预测其对图像的神经元的响应变得更加准确？在三个独立的实验中，我们发现情况并非如此：DNN逐渐变得更糟，因为其精度在Imagenet上提高了。要了解为什么DNN经历这种权衡并评估它们是否仍然是建模视觉系统的适当范式，我们转向其录音，以捕获自然图像引起的神经元活动的空间分辨图[6]。这些神经元活动图表明，接受Imagenet训练的DNN学会依靠与由其编码的DNN相比，并且随着其准确性的提高，该问题恶化。我们成功解决了这个问题，这是DNNS的插件训练程序，它使他们学到的表现与人类保持一致[7]。我们的结果表明，统一的DNN破坏了ImageNet精度和神经预测准确性之间的权衡，从而攻击了当前的DNN，并为更准确的生物学视觉模型提供了途径。我们的工作表明，使用任务优化的DNNS需要进行修订的标准方法，以及其他生物学约束（包括人体心理物理学数据）需要准确地逆转视觉皮层。
自我指导的在线机器学习拓扑优化
拓扑优化通过在给定域中最佳分发材料来优化，需要2个无梯度优化器来解决高度复杂的问题。然而，在涉及数百个设计变量或更多涉及的情况下，解决此类问题将需要数百万个有限的4个元素方法（FEM）计算，其计算成本又大且不切实际。在这里5我们报告了一个自我指导的在线学习优化（SOLO），该优化（SOLO）将深度神经6网络（DNN）与FEM计算集成在一起。DNN将目标学习并替换为设计变量的7个函数。少数培训数据是基于DNN的全局最佳预测而动态生成的8。DNN适应了新的培训数据9，并在关注区域提供了更好的预测，直到收敛为止。我们的算法通过合规性最小化问题和流体结构优化问题测试了10个。IT 11
Ascend：具有光子互连的可扩展且节能的深度神经网络加速器
摘要 — 为了追求高推理精度，近期深度神经网络 (DNN) 模型的复杂性和规模显著增加。基于芯片的加速器被认为是一种可行的扩展方法，可为此类 DNN 模型的有效处理提供强大的计算能力和片上存储器。然而，在之前的基于芯片的加速器中使用金属互连进行通信对系统性能、能源效率和可扩展性构成了重大挑战。光子互连具有与距离无关的延迟、高带宽密度和高能源效率等特点，可以充分支持跨芯片的通信。此外，显著的广播特性使光子互连适用于通常会引发普遍的广播通信的 DNN 推理。在本文中，我们提出了一种基于芯片的可扩展光子互连 DNN 加速器，名为 A SCEND。 A SCEND 引入了 (1) 一种新型光子网络，支持无缝芯片内和芯片间广播通信以及不同卷积层的灵活映射，以及 (2) 一种定制数据流，利用广播特性的便利性，并通过同时处理共享输入数据的计算来最大化并行性。使用多个 DNN 模型的仿真结果表明，与其他具有金属或光子互连的最先进的基于芯片的 DNN 加速器相比，A SCEND 分别实现了 71% 和 67% 的执行时间和能耗减少。
使用减少数据集的机器学习的AESA天线
摘要。本文提出了一种基于深的神经网络（DNN）的方法，用于8个元素分阶段阵列天线的辐射模式合成。为此，将所需辐射模式的181点作为输入到DNN和阵列元素的相位作为输出提取。现有的辐射模式合成技术的DNN技术并不直接适用于数据集大小随数组尺寸呈指数增长时。为了过度使用这个瓶颈，我们提出了为DNN生成数据集的新颖有效的方法。具体而言，通过杠杆，分阶段阵列天线的恒定相移特性，数据集大小减少了几个数量级，并独立于阵列大小。这在速度和复杂性方面具有相当大的优势，尤其是在实时应用中，因为DNN可以立即学习和综合所需的模式。通过使用理想的方形梁和最佳阵列模式作为DNN的参考输入来验证所提出方法的实现。MATLAB和CST中产生的结果证明了所提出的方法在合成所需的辐射模式中的有效性。
CSCI5527：深度学习 - 模型，计算和应用程序Spring 2025
在过去的几年中，深度神经网络（DNN）从根本上改变了人们对机器学习和处理实际问题的看法。DNN的成功范围从传统的AI领域，例如计算机视觉，自然语言处理，互动游戏，医疗保健和物理科学，到理论和应用领域的每个角落。另一方面，DNN仍然在很大程度上充当黑匣子，我们对它们何时以及为什么工作的理解只有非常有限的理解。本课程介绍了DNN，样本重要应用的基本成分，并围绕开放问题。重点是从第一原则和基本构建基础进行思考，因为该领域仍在迅速发展，没有什么不能改变的。
神经网络
深度神经网络 (DNN) 已成为对大脑和行为进行建模的重要工具。一个关键的关注领域是将这些网络应用于对人类相似性判断进行建模。之前的一些研究使用了视觉 DNN 倒数第二层的嵌入，并表明对这些特征进行重新加权可以改善人类相似性判断与 DNN 之间的契合度。这些研究强调了这样一种观点，即这些嵌入形成了良好的基础集，但缺乏正确的显着性水平。在这里，我们重新审视了这一想法的依据，相反，我们假设这些嵌入除了形成良好的基础集之外，还具有正确的显着性水平来解释相似性判断。只是需要修剪大维嵌入以选择与相似性空间建模所考虑的领域相关的特征。在研究 1 中，我们根据人类相似性判断的子集监督了 DNN 修剪。我们发现，剪枝：i) 改进了 DNN 嵌入中人类相似性判断的样本外预测，ii) 与 WordNet 层次结构产生更好的对齐，iii) 保留了比重新加权更高的分类准确率。研究 2 表明，通过神经生物学数据进行剪枝对于改进 DNN 嵌入中大脑衍生的表征相异矩阵的样本外预测非常有效，有时可以充实原本无法观察到的同构。使用剪枝后的 DNN，可以生成图像级热图来识别特征加载在由大脑区域编码的维度上的图像部分。因此，由人类大脑/行为监督的剪枝可以有效地识别 DNN 和人类之间可对齐的知识维度，并构成一种理解神经网络中知识组织的有效方法。© 2023 作者。由 Elsevier Ltd. 出版。这是一篇根据 CC BY 许可协议 ( http://creativecommons.org/licenses/by/4.0/ ) 开放获取的文章。
视觉皮层的高性能神经网络模型受益于高潜在维数
深度神经网络 (DNN) 的几何描述有可能揭示神经科学中计算模型的核心原理，同时抽象出模型架构和训练范例的细节。在这里，我们通过量化其自然图像表示的潜在维数来检查视觉皮层的 DNN 模型的几何形状。一种流行的观点认为，最佳 DNN 将其表示压缩到低维子空间以实现不变性和鲁棒性，这表明更好的视觉皮层模型应该具有低维几何形状。令人惊讶的是，我们发现了一个相反方向的强烈趋势——在预测猴子电生理学和人类 fMRI 数据中对伸出刺激的皮层反应时，具有高维图像子空间的神经网络往往具有更好的泛化性能。这些发现适用于 DNN 的各种设计参数，它们提出了一个普遍原则，即高维几何形状为视觉皮层的 DNN 模型带来了显著的好处。
THINGSvision：用于简化深度神经网络激活提取的 Python 工具箱
在过去十年中，深度神经网络 (DNN) 模型因其接近人类的物体分类性能以及对生物视觉系统记录的信号的出色预测而备受关注。为了更好地理解这些网络的功能并将它们与大脑活动和行为的假设联系起来，研究人员需要从不同的 DNN 层中提取图像的激活。然而，不同 DNN 变体的丰富性往往难以处理，对于没有强大计算背景的人来说，从不同层中提取 DNN 激活的任务可能并不简单，而且容易出错。因此，认知科学和计算神经科学领域的研究人员将受益于支持用户执行提取任务的库或包。THINGSvision 是一个新的 Python 模块，旨在通过提供一个简单而统一的工具来弥补这一差距，该工具可用于提取各种预训练和随机初始化的神经网络架构的层激活，即使对于编程经验很少或没有编程经验的用户也是如此。我们通过使用表征相似性分析将提取的 DNN 激活与大量功能性 MRI 和行为数据集关联起来，展示了 THINGsvision 的通用实用性，表征相似性分析可以作为工具箱的一个组成部分来执行。总之，THINGSvision 使不同领域的研究人员能够以简化的方式为其自定义图像数据集提取特征，从而提高将 DNN、大脑活动和行为关联起来的便利性，并提高这些研究领域研究结果的可重复性。
深度学习衍生的行星边界层高度从传统的气象测量
摘要。行星边界层（PBL）高度（PBLH）是各种流星和气候研究的重要参数。本研究提出了一个多结构深神经网络（DNN）模型，该模型可以通过整合早晨的温度纤维和表面气象观测来估计PBLH。DNN模型是通过利用富含的PBLH数据集而开发的，该数据集是从长期存在的辐射记录中得出的，并以高分辨率的微脉冲激光雷达和多普勒激光雷达观测来增强。我们以10个成员的合奏访问DNN的性能，每个成员都有独特的隐藏结构，从1994年到2020年，在南部大平原上共同产生了强大的27年PBLH数据集。各种气象因素对PBLH的影响是通过重要性测试严格分析的。此外，还评估了DNN模型的准确性，以针对辐射观测值进行评估，并与传统的遥感方法并置，包括多普勒激光雷达，天花板，拉曼激光雷达和微脉冲激光雷达。DNN模型在各种条件下表现出可靠的性能，并且相对于遥感方法表现出较低的偏见。此外，最初在普通区域进行训练的DNN模型在应用于山羊山（Green Ocean Amazon; Tropical Rainforest）和Cacti（云，Aerosol和Aerosol，Aerosol和复杂的地形相互作用; Middle lat Lattlative Mountains; Middle Lattlative Mountains）活动中遇到的异质地形和气候时，表现出显着的适应性。这些发现证明了深度学习模型在估计PBLH中的有效性，增强了我们对边界层过程的理解，对改善PBL在天气预测和气候建模中的表示的影响。
