在过去的几年中,深入的学习有了立体声匹配的精度,但恢复急剧的界限和高分辨率产出有效仍然充满挑战。在本文中,我们提出了立体声混合物网络(SMD-NETS),这是一个简单而有效的学习框架,与宽阔的2D和3D体系结构兼容,可改善这两个问题。特别是,我们利用双峰混合物密度作为输出代表,并表明这允许几乎不连续的尖锐而精确的差异估计,同时明确地构建了观测中固有的不确定性。此外,我们将差异估计作为图像域中的一个连续问题,从而使我们的模型以任意空间精度查询差异。我们对新的高分辨率和高度逼真的立体声数据集进行了全面的实验,该数据集由8MPX分辨率以及现实世界立体声数据集组成。我们的实验表明,在物体边界附近的深度准确性以及对标准GPU上高分辨率差异图的预测。,我们通过提高各种立体主杆的性能来证明我们技术的灵活性。
I. i tratotuction for Graphs(DNNG)代表了一个新兴领域,该领域研究如何将深度学习方法推广到图形结构化数据。由于图是一种功能强大且灵活的工具,可代表模式及其关系形式的复杂信息,从分子到蛋白质到蛋白质相互作用网络,再到社交或运输网络,或者在知识图上,或者在非常不同的范围内建模系统,这些方法已被用于许多应用领域。Since the pioneering works on trees, namely Recursive Neural Networks [1], [2], and directed acyclic graphs [3], [4], up to methods extended to general graphs, both by recursive approaches (namely Graph Neural Networks (GNNs) [5], [6]), or Graph Convolutional Network approaches (namely NN4Gs [7], GCNs, etc.),已经提出了许多用于图的神经模型[8],[9]。此外,除了纯神经网络范式之外,已经引入了术语深图网络(DGN),还包括基于贝叶斯的和生成的图形网络[9]。特别是在2015年之后,已经引入了更广泛的模型,并且在其各种化身中,DNNG和DGNS已成为图形表示在学习任务中的显着能力(例如节点分类,图形分类,图形分类,图形,图形和链接预测)的强烈研究的话题。目睹了对该领域的兴趣,已经出现了许多调查,例如[8],[9]和调查文件[8]获得了2024 IEEE TNNLS杰出纸质奖。但是,这一研究和应用领域仍然具有很高的活力且不断增长[10]。的确,DNNG和相关领域的越来越多的作品表明,学术和工业社区对开发更先进的技术和算法的需求仍然相当大,请考虑包含可信赖的
摘要 - 传统的人工神经网络从生物网络中汲取灵感,使用神经元的节点层来传递信息进行处理。更现实的模型包括在神经网络中的尖峰,更贴近捕获电气特性。然而,很大一部分脑细胞是神经胶质细胞类型的,特别是星形胶质细胞被认为在执行计算中起作用。在这里,我们介绍了一个修改后的尖峰神经网络模型,并在神经网络中具有添加类似星形胶质细胞的单元,并评估它们对学习的影响。我们将网络作为液态机器实现,并任务网络执行混乱的时间序列预测任务。我们改变了网络中类似神经元和星形胶质细胞样单元的数量和比率,以检查后一种单元对学习的影响。我们表明,与神经和星形细胞网络相反,神经元和星形胶质细胞的结合对于推动学习至关重要。有趣的是,我们发现当类似星形胶质细胞样和神经元的单位之间的比率大约为2:1时,达到了最高的学习率,这反映了生物星形胶质细胞与神经元比率的一些估计值。我们的结果表明,在跨时间范围内代表信息的类似星形胶质细胞样单元可以改变神经网络的学习率,并且应将星形胶质细胞与神经元的比例适当地调整为给定的任务。
近年来数据的指数增长导致了从多个来源产生的庞大,异质的数据集。大数据应用程序越来越依赖这些数据集来提取知识,以进行预测分析和决策。但是,数据的质量和语义完整性仍然是关键的挑战。在本文中,我们提出了一个受脑启发的分布式认知框架,该框架将深度学习与Hopfield Network集成,以识别和链接多个数据集的语义相关属性。我们的方法对人脑的双半球功能进行了建模,右半球在其中处理并吸收了新信息,而左半球则检索学习的表示形式以建立有意义的关联。认知体系结构在MapReduce框架上运行,并链接存储在Hadoop分布式文件系统(HDFS)中的数据集。通过将深层田网络作为一种关联内存机制纳入,我们的框架可以增强经常同时发生属性的回忆,并根据不断发展的数据使用模式动态调整关系。实验结果表明,随着时间的流逝,霍普菲尔德记忆中具有强大关联烙印的属性会得到加强,而相关性降低的属性逐渐削弱 - 这种现象类似于人类记忆的回忆和遗忘。这种自优化的机制可确保链接的数据集具有上下文有意义,从而提高数据歧义和整体集成精度。我们的发现表明,将深层网络与分布式认知处理范式相结合,为在大规模环境中管理复杂的数据关系提供了可扩展且具有生物学启发的方法。
深度神经网络(DNN)一直处于机器学习(ML)和深度学习(DL)(DL)的最新突破的最前沿。dnns越来越多地用于各种任务,从对卫星图像的地球观察和分析到医学诊断和智能聊天机器人。在这些进步方面的主要贡献是培训数据,计算资源和框架的丰富性,可以在范式中有效地培训越来越多,更复杂的DNN,该范式被称为分布式DL,尤其是分布式培训,这是该博士学位的重点。在分布式培训中,数据和计算分布在几个工人中,而不是单主培训,其中数据和计算都驻留在单个工人上。在这种设置中,分布式培训可以帮助克服单主训练的局限性,例如内存限制,计算瓶颈和数据可用性。但是,分布式培训带来了许多需要仔细解决的挑战,以便具有有效利用它的系统。这些挑战包括但不限于工人中计算和数据的有效分布,Straggler工人在集群中的统计(与其他工人相比,在计算步骤中大大落后于工人),尤其是在同步执行的工作,以及工人之间的交流和同步。这意味着系统应在计算和数据维度上提供可伸缩性。另一方面,从编程和可用性的角度来看,使用分布式培训范式通常需要了解分布式计算原理和具有分布式和数据密集型计算框架的经验以及对单霍斯特培训使用的代码进行重大更改。此外,随着训练A DNN涉及几个步骤和阶段(例如,数据准备,超参数调整,模型培训等。),希望可以重复使用彼此不同步骤的计算结果(例如,在高参数调谐试验中学习的权重,以便改善训练时间,以便在高参数调整试验中学习的权重)。最后,当开发更大,更复杂的DNN时,我们还需要了解每个设计选择的贡献。本博士学位论文的贡献解决了上述挑战,并共同优化了大规模的DNN培训,使其更易于访问,高效和计算可持续性,同时又可以在ML/DL工作流中延长冗余,并为进行消水研究提供了有用的工具。
摘要 - 基于卷积神经网络(CNN)的深度学习模型已用于对阿尔茨海默氏病进行分类或从T1加权大脑MRI扫描中推断痴呆症的严重程度。在这里,我们研究了添加扩散加权MRI(DMRI)作为这些模型的输入的值。在这一领域进行了许多研究,重点介绍了特定数据集,例如阿尔茨海默氏病神经影像学计划(ADNI),该计划评估了北美人(主要是欧洲血统)的人,因此我们研究了对ADNI培训的模型,该模型如何推广到来自印度(Nimhans Cohort)的新人口数据集。我们首先通过预测“大脑时代”来基准我们的模型 - 从其MRI扫描中预测一个人的年龄并继续进行广告分类的任务。我们还评估了在训练CNN模型之前使用3D CycleGAN方法来协调成像数据集的好处。我们的实验表明,在大多数情况下,在协调后的分类性能会提高,并且DMRI作为输入的性能更好。
形式语言是建模和仿真的组成部分。他们允许将知识蒸馏成简明的模拟模型,可自动执行,解释和分析。但是,可以说最容易获得模型的方法是通过自然语言,这是计算机不容易解释的。在这里,我们评估了如何将大型语言模型(LLM)用于将自然语言形式化为模拟模型。现有研究仅使用非常大的LLM(例如商业GPT模型)进行探索,而无需微调模型权重。要缩小这一差距,我们展示了如何对开放量,7B参数Mistral模型进行微调,以将自然语言描述转化为特定于域语言的反应网络模型,从而提供自我托管,计算和内存有效的替代方案。为此,我们开发了一个合成数据代理,以作为微调和评估的基础。我们的量词评估表明,我们的微调Mistral模型可以恢复高达84的地面真相模拟模型。5%的案件。此外,我们的小规模用户研究展示了该模型在各个领域的一次性生成以及交互式建模的实际潜力。虽然有前途,但以当前形式,微型的小LLM无法赶上大型LLM。我们得出的结论是,需要更高质量的培训数据,并期望将来的小型和开源的LLM提供新的机会。
■接受对象识别训练的深神经网络(DNNS)提供了高级视觉皮层的最佳当前模型。尚不清楚的是,诸如网络架构,训练和对大脑数据的拟合等实验性选择有多么强烈的选择,这有助于观察到的相似性。在这里,我们将九种DNN体系结构的多样化集与它们解释人类下颞皮层中62个对象图像的代表性几何形状(hit)的能力,如用fMRI所测量的。我们将未经训练的网络与他们的任务训练的对应物进行了比较,并通过在每层内特征的主要成分进行加权组合,并将其层次的加权组合得以评估,并评估了击中的效果。对于训练和拟合的每种组合,我们使用独立的
摘要:移动订户越来越多地要求宽带服务的可用性,而无线电资源允许连接它们的无线电资源是有限的。了解移动互联网消费趋势和订户流量需求对于实现现有无线电资源的管理至关重要。但是,由于移动网络的复杂性,可能很难理解和描述移动用户的数据使用模式。在这项研究中,我们研究和表征移动网络中的数据使用模式和用户行为以执行流量需求预测。我们利用了通过历史电信运营商(HTO)网络的移动网络测量和计费平台收集的数据集,称为U2020/MAE。我们阐明了不同的网络因素,并通过将HTO的移动用户作为用例来研究它们如何影响数据使用模式。然后,我们将移动用户的数据使用模式进行比较,考虑到总数据消耗,网络访问,每个用户创建的会话数,吞吐量和用户满意度级别与服务。最后,我们提出了一个使用机器学习模型来使用HTO数据来预测流量需求的应用程序。关键字:LTE核心网络,流量,机器学习,预测简介
太空系统中的网络安全已成为关注的关键领域,因为人们对卫星和基于空间的资产的沟通,导航,军事行动和科学探索的依赖越来越多。 随着太空活动的迅速扩大,政府和商业实体都投资了卫星技术,这反过来又增加了针对这些基础设施的网络威胁的风险[1]。 现代卫星系统的相互联系性质及其与地面网络的集成使它们容易受到网络攻击的影响,从数据拦截到全尺度的操作中断。 与常规IT系统不同,空间资产在高风险环境中运行,直接干预的机会有限,因此其网络安全框架从根本上截然不同[2]。太空系统中的网络安全已成为关注的关键领域,因为人们对卫星和基于空间的资产的沟通,导航,军事行动和科学探索的依赖越来越多。随着太空活动的迅速扩大,政府和商业实体都投资了卫星技术,这反过来又增加了针对这些基础设施的网络威胁的风险[1]。现代卫星系统的相互联系性质及其与地面网络的集成使它们容易受到网络攻击的影响,从数据拦截到全尺度的操作中断。与常规IT系统不同,空间资产在高风险环境中运行,直接干预的机会有限,因此其网络安全框架从根本上截然不同[2]。