XiaoMi-AI文件搜索系统
World File Search SystemDNNS
抽象机制预测深度神经网络中的概括
深度神经网络作品（DNN）的一个长期问题是了解他们令人困惑的概括能力。We approach this prob lem through the unconventional angle of cogni tive abstraction mechanisms , drawing inspiration from recent neuroscience work, allowing us to define the Cognitive Neural Activation metric (CNA) for DNNs, which is the correlation be tween information complexity (entropy) of given input and the concentration of higher activation values in deeper layers of the network.CNA具有高度预测的概括能力，在对近200个网络实例的广泛评估中进行基于规范和偏见的概括指标，其中包括数据集构造组合的广度，尤其是在存在加性噪声的情况下，并且存在/或培训标签被损坏。这些强大的EM PIRICAL结果表明，CNA作为概括度量的有用性，并鼓励对信息复杂性与更深层次网络中的表示之间的联系进行进一步研究，以便更好地了解DNN的概括能力。1
使用人工智能和联合仿真优化雾计算环境的性能
本教程介绍了一种性能工程方法，该方法使用人工智能和耦合仿真来优化边缘/雾/云计算环境的服务质量 (QoS)，该仿真是联合仿真型容器编排 (COSCO) 框架的一部分。它介绍了基本的人工智能和联合仿真概念、它们在雾计算背景下的 QoS 优化和性能工程挑战中的重要性。它还讨论了如何将人工智能模型（特别是深度神经网络 (DNN)）与模拟估计结合使用以做出最佳资源管理决策。此外，我们还讨论了一些使用 DNN 作为替代方法来估计关键 QoS 指标的用例，并利用此类模型在分布式雾环境中构建动态调度策略。本教程使用 COSCO 框架演示了这些概念。COSCO 中的指标监控和模拟原语展示了基于人工智能和模拟的调度程序在雾/云平台上的有效性。最后，我们为雾管理领域出现的资源管理问题提供了人工智能基线。
![arXiv:2208.09677v2 [cs.CV] 2022 年 8 月 25 日](/simg/g:\will\search\icon\source\e\eed2127ddfd01a3975f9517c2f34298def8b628f.webp)
arXiv:2208.09677v2 [cs.CV] 2022 年 8 月 25 日
我们推出了 Net2Brain，这是一个图形和命令行用户界面工具箱，用于比较人工深度神经网络 (DNN) 和人类大脑记录的表征空间。虽然不同的工具箱只支持单一功能或只关注一小部分监督图像分类模型，但 Net2Brain 允许提取 600 多个 DNN 的激活，这些 DNN 经过训练可执行各种视觉相关任务（例如语义分割、深度估计、动作识别等），适用于图像和视频数据集。该工具箱计算这些激活的表征相异矩阵 (RDM)，并使用表征相似性分析 (RSA)、加权 RSA 将它们与大脑记录进行比较，无论是在特定的 ROI 中还是在探照灯搜索中。此外，还可以将一组新的刺激和大脑记录数据集添加到工具箱中进行评估。我们通过一个例子展示了 Net2Brain 的功能和优势，展示了如何使用它来检验认知计算神经科学的假设。
理解人工智能与……之间相似之处的一种方法
人工智能 (AI) 和神经科学有着悠久的合作历史。日常的社会和经济活动由人工智能支持，人工智能是一项重要的技术。人工智能是当今最受争议的话题之一，而对于人类和人工智能如何变化和重叠，人们似乎并没有达成太多共识。关于道德、医疗保健、农业、教育和可信度等各种相关主题的讨论都带有隐含的人类中心主义和拟人化假设。它极大地支持了日本经济的可持续增长，并为许多社会问题提供了解决方案。人工智能最近受到关注，成为促进美国和欧洲等工业化国家以及中国和印度等发展中国家增长的一种手段。深度神经网络 (DNN) 已成为模拟人类认知并经常产生类似行为的强大而常见的工具，也可以描述为人工智能。例如，由于 DNN 具有受大脑启发的分层计算组织，因此它们似乎以与人类相同的方式对现实世界的图像进行分类。 DNN 是机器学习家族的一个子集，在自动人脸识别和自动驾驶汽车等常见的实际应用中变得越来越有效。格拉斯哥大学心理学和神经科学学院最近在《认知科学趋势》杂志上发表了一项新研究，该研究采用一种方法来了解人类大脑及其 DNN 模型是否以相同的方式识别事物，使用可比较的计算步骤。关键词：人工智能、人脑、技术、相似性、医疗保健、教育、农业。《应用药学科学与研究杂志》，（2024 年）；DOI：10.31069/japsr.v7i3.03
信息和通信技术工具和方法的博士学位论文，用于分布式和大规模培训的深度神经网络
深度神经网络（DNN）一直处于机器学习（ML）和深度学习（DL）（DL）的最新突破的最前沿。dnns越来越多地用于各种任务，从对卫星图像的地球观察和分析到医学诊断和智能聊天机器人。在这些进步方面的主要贡献是培训数据，计算资源和框架的丰富性，可以在范式中有效地培训越来越多，更复杂的DNN，该范式被称为分布式DL，尤其是分布式培训，这是该博士学位的重点。在分布式培训中，数据和计算分布在几个工人中，而不是单主培训，其中数据和计算都驻留在单个工人上。在这种设置中，分布式培训可以帮助克服单主训练的局限性，例如内存限制，计算瓶颈和数据可用性。但是，分布式培训带来了许多需要仔细解决的挑战，以便具有有效利用它的系统。这些挑战包括但不限于工人中计算和数据的有效分布，Straggler工人在集群中的统计（与其他工人相比，在计算步骤中大大落后于工人），尤其是在同步执行的工作，以及工人之间的交流和同步。这意味着系统应在计算和数据维度上提供可伸缩性。另一方面，从编程和可用性的角度来看，使用分布式培训范式通常需要了解分布式计算原理和具有分布式和数据密集型计算框架的经验以及对单霍斯特培训使用的代码进行重大更改。此外，随着训练A DNN涉及几个步骤和阶段（例如，数据准备，超参数调整，模型培训等。），希望可以重复使用彼此不同步骤的计算结果（例如，在高参数调谐试验中学习的权重，以便改善训练时间，以便在高参数调整试验中学习的权重）。最后，当开发更大，更复杂的DNN时，我们还需要了解每个设计选择的贡献。本博士学位论文的贡献解决了上述挑战，并共同优化了大规模的DNN培训，使其更易于访问，高效和计算可持续性，同时又可以在ML/DL工作流中延长冗余，并为进行消水研究提供了有用的工具。
局部操纵后全球大脑重新配置
深神经网络（DNN）的几何描述有可能发现神经科学中计算模型的核心代表原理。在这里，我们通过量化其自然图像表示的潜在维度来检查视觉皮层的DNN模型的几何形状。流行的观点认为，最佳DNNS将其表示形式压缩到低维子空间以实现不变性和鲁棒性，这表明更好的视觉皮层模型应具有较低的维几何形状。令人惊讶的是，我们发现相反方向的强烈趋势 - 具有高维图像子空间的神经网络在预测猴子电生理学和人类FMRI数据中对持有刺激的皮质反应时倾向于具有更好的概括性能。此外，我们发现，在学习新的刺激类别时，高维度与更好的性能相关，这表明更高的维度表示更适合于概括其训练领域。这些发现提出了一个一般原则，高维几何形状赋予了视觉皮层DNN模型的计算益处。
asgard：使用基于虚拟化的可信执行环境保护设备上的深神经网络
我们提出了Asgard，这是第一个基于虚拟化的TEE解决方案，旨在保护传统ARMV8-A SOC的设备DNN。与使用基于信任的TEE进行模型保护的先前工作不同，Asgard的T恤仍然与现有专有软件兼容，保持可信赖的计算基础（TCB）最小值，并在接近零时的运行时开销。到此为止，Asgard（i）（i）通过安全的I/O传球牢固地延长了现有TEE的界限，以通过安全的I/O传球结合了SOC集成加速器，（ii）通过我们积极进取的且安全性的平台和应用程序级别的TCB Debloating Techiques和（IIIIIII）exite-iii iii iii nordie-irie-irie norder-irie norder-irie norder-irie norder-irie norder-irique tcb紧紧控制TCB的大小。合并DNN执行计划。我们在RK3588S上实施了ASGARD，这是一个基于ARMV8.2-A的商品Android平台，配备了Rockchip NPU，而无需修改Rockchip-和Armpriperipary软件。我们的评估表明，Asgard有效地保护了TCB大小和可忽略不计的推理潜伏期的传统Soc中的设备DNN。
基于有向无环图的神经网络，用于可调低
在移动设备上处理视觉数据有许多应用，例如应急响应和跟踪。最先进的计算机视觉技术依赖于大型深度神经网络 (DNN)，而这些网络通常耗电量太大，无法部署在资源受限的边缘设备上。许多技术通过牺牲准确性来提高 DNN 的效率。然而，这些技术的准确性和效率无法适应具有不同硬件约束和准确性要求的各种边缘应用。本文表明，一种称为分层 DNN 的最新高效树型 DNN 架构可以转换为基于有向无环图 (DAG) 的架构，以提供可调的准确性-效率权衡选项。我们提出了一种系统方法来识别必须添加的连接以将树转换为 DAG 来提高准确性。我们在流行的边缘设备上进行了实验，并表明增加 DAG 的连接性可以将准确性提高到现有高精度技术的 1% 以内。我们的方法比高精度技术所需的内存减少了 93%，能耗减少了 43%，操作减少了 49%，从而提供了更高的精度和效率。
不透明度和深度学习困境的两个维度
在本文中，我将通过争论以下三个论文来对这个问题提供细微的回答：（i）对深度学习（DL）模型（适当地解释）在特定意义上具有重要意义，它使他们与许多（尽管并非全部）传统科学模型（包括计算机模拟（CSS））区分开来。（ii）XAI涉及两种不同种类的黑盒子，或不透明度，而减少一个则不必有助于减少另一个。这些可能被视为DL不透明度问题的两个维度 - 我将在下面进行确切的概念。（iii）这种不透明度和工具性的独特组合意味着我们通常不能期望了解数据成功的数据（决定性模式）的基本机制（决定性模式），并通过DL算法完全认可和预测。3特别是，当共同满足某些条件时，DL很有可能允许新发现，科学家将很难理解。本文的主要目标是从科学的观点哲学中，对DL革命或不断变化的科学的主张是有道理的。建立（i） - （iii）需要一些概念上的努力。首先，我将区分DNN是模型的三种感觉（2.1），并区分适合我的目的的含义。随后（Sects。2.3和2.4），然后我将确定相关的工具意识，以及为什么它使DL模型不言自明。在教派中。4，然后我将展示DNNS的工具性和不透明度如何导致发现与解释之间前所未有的差距。第3节将定义概念，并主张存在，并为DL的不透明度提供了两个维度；这意味着DNN是不透明的，而CSS的（知名）不透明度无法降低。，与DL在处理大数据方面的前所未有的成功一起，我称之为DL困境。
关于预测人类语音误解的自我监督的学习语音表征的好处
深度神经网络（DNNS）最近已证明接受自我监督的学习（SSL）训练，可以产生类似于相同语音输入的大脑激活的表示。SSL表示能否有助于解释人类的语音感知错误？旨在阐明这个问题，我们研究了它们用于语音误解预测的用途。我们从WAV2VEC 2.0中提取表示形式，这是一种用于语音的SSL架构，并使用它们来计算特征作为模型，以预测语音感知误差在噪声信号中的语音感知错误。我们对3000多个语料库进行了实验，英语中有3000多个毫无意义的混乱。我们考虑基于多PLE SSL的功能，并将其与传统的声学基准和通过ASR的监督学习微调获得的传统声学基准和特征。我们的结果表明，从适当的层中提取SSL表示的支撑性，进一步表明了它们对人类语音感知的建模潜力。索引术语：语音感知，可理解性预测，次级清晰度，自我监督的学习，语音中的语音