摘要 小型数据集通常会影响医学成像研究中深度神经网络 (DNN) 的泛化、稳健性和整体性能。由于收集大型临床数据库始终很困难,我们提出了一种生成大型真实/多样化数据集的分析方法。临床脑部 PET/CT/MR 图像包括全剂量 (FD)、低剂量 (LD)(仅对应于 FD 扫描中获取的事件的 5%)、非衰减校正 (NAC) 和基于 CT 测量的衰减校正 (MAC) PET 图像、CT 图像以及 35 名患者的 T1 和 T2 MR 序列。所有图像均已注册到蒙特利尔神经研究所 (MNI) 模板。使用拉普拉斯混合,利用来自两个不同患者的图像的频域信息以及混合蒙版进行自然呈现。这种来自计算机视觉和图像处理社区的经典技术仍然被广泛使用,并且与现代 DNN 不同,它不需要训练数据。实施了改进的 ResNet DNN 来评估四个图像到图像的转换任务,包括 LD 到 FD、LD+MR 到 FD、NAC 到 MAC 和 MRI 到 CT,使用和不使用合成图像。使用已建立的指标进行定量分析,包括峰值信噪比 (PSNR)、结构相似性指数度量 (SSIM) 和联合直方图分析,以进行定量评估。包含 35 名患者的注册小数据集与包含 350 个合成数据集加 35 个真实数据集的大数据集之间的定量比较显示,LD 到 FD 的 RMSE 和 SSIM 分别提高了 29% 和 8%,LD+MRI 到 FD 的 RMSE 和 SSIM 提高了 40% 和 7%,NAC 到 MAC 的 16% 和 8%,MRI 到 CT 映射任务的 24% 和 11%。定性/定量分析表明,与参考图像相比,所提出的模型通过生成更高质量、更低定量偏差和方差的图像,提高了所有四个 DNN 模型的性能。
摘要 — 深度学习领域的最新进展尚未充分利用来解码想象语音,主要是因为没有足够的训练样本来训练深度网络。在本文中,我们提出了一种新颖的架构,该架构使用深度神经网络 (DNN) 对 ASU 想象语音数据集中相应 EEG 信号中的单词“in”和“cooperate”进行分类。使用公共空间模式 (CSP) 选择最能捕捉底层皮质活动的九个 EEG 通道,并将其视为独立的数据向量。离散小波变换 (DWT) 用于特征提取。据我们所知,到目前为止,DNN 尚未被用作解码想象语音的分类器。将与每个想象词相对应的选定 EEG 通道视为独立的数据向量有助于提供足够数量的样本来训练 DNN。对于每次测试试验,最终的类别标签是通过对试验中考虑的各个通道的分类结果进行多数投票来获得的。我们已经取得了与最先进结果相当的准确度。通过使用更高密度的 EEG 采集系统结合其他深度学习技术(如长短期记忆),可以进一步改善结果。索引术语 — 脑机接口、空间滤波器、深度学习、想象语音、常见空间模式
摘要 糖尿病视网膜病变 (DR) 是糖尿病的一种严重并发症,如果不及早发现和治疗,会导致视力障碍和失明。在这项研究中,我们提出了一种先进的预测系统,利用改进的深度神经网络 (DNN) 来提高 DR 诊断的准确性和效率。所提出的系统集成了一个深度学习框架,并针对受糖尿病影响的视网膜图像的独特特征进行了量身定制的修改。我们引入了专门的特征提取技术并优化了网络架构以适应糖尿病视网膜病变的复杂性。使用包含各种视网膜图像的综合数据集来训练和验证改进的 DNN 模型。实验结果证明,与现有方法相比,该方法具有更高的预测准确性,突出了所提出的方法在糖尿病视网膜病变的早期检测和预后方面的有效性。这种智能预测系统通过促进及时干预和降低不可逆视力障碍的风险,为改善糖尿病患者的临床管理带来了巨大的希望。
在本文中,我们介绍了两种适应感兴趣区域的方法和算法。我们提出了一种新的深度神经网络 (DNN),可用于使用 EEG 数据直接确定注视位置。基于 EEG 的眼动追踪是眼动追踪领域的一个新的、困难的研究课题,但它提供了一种基于图像的眼动追踪的替代方案,其输入数据集与传统图像处理相当。所提出的 DNN 利用 EEG 信号的空间依赖性,并使用类似于空间滤波的卷积,用于预处理 EEG 信号。通过这种方式,与最先进的技术相比,我们将从 EEG 信号进行的直接注视判断提高了 3.5 厘米 MAE(平均绝对误差),但不幸的是仍然没有实现直接适用的系统,因为与基于图像的眼动追踪器相比,不准确性仍然明显较高。链接:https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/?p=%2FEEGGaze&mode=list
在过去的几年中,我们开发了一套全面的深度神经网络 (DNN) 大规模学习理论,并使用随机梯度下降 (SGD) 进行优化。该理论建立在三个理论组成部分之上:(1) 重新思考标准(类似 PAC)分布独立的最坏情况泛化界限 - 将它们转变为独立于模型架构的问题相关典型(信息论意义上的)界限。(2) 信息平面定理:对于大规模典型学习,样本复杂度和准确度权衡仅由两个数字来描述:表示(网络中的一层)在输入模式上维护的互信息,以及每层对所需输出标签的互信息。编码器和解码器信息值之间的信息理论最优权衡由规则特定输入输出分布的信息瓶颈 (IB) 界限给出。(3) DNN 的各层通过标准 SGD 训练在高维(输入和层)中达到这个最优界限。
摘要:联合学习(FL)是一种允许多个参与者协作训练深神经网络(DNN)的技术,而无需集中数据。除其他优点外,它具有保护隐私性的财产,使其对在敏感环境(例如医疗保健或军方)的应用中具有吸引力。尽管没有明确交换数据,但培训程序需要共享有关参与者模型的信息。这使各个模型容易受到恶意演员的盗窃或未经授权的分配的影响。为了解决机器学习(ML)的所有权保护问题,在过去的五年中已经开发了DNN水印方法。大多数现有的作品都以集中式的方式着重于水印,但仅针对FL及其独特的限制设计了一些方法。在本文中,我们概述了联合学习水印的最新进步,阐明了这一领域中出现的新挑战和机遇。
本研究介绍了一个创新的数据驱动和机器学习框架,旨在准确预测特定离岸CO 2存储站点的站点筛选研究中的站点分数。框架无缝将各种地下地面地面数据源与人类辅助专家加权标准集成在一起,从而提供了高分辨率筛选工具。量身定制,以适应不同的数据可访问性和标准的重要性,这种方法考虑了技术和非技术因素。其目的是促进与碳捕获,利用率和存储相关的项目的优先位置(CCUS)。通过汇总和分析地理空间数据集,该研究采用机器学习算法和专家加权模型来识别合适的地质CCUS区域。此过程遵守严格的安全性,风险控制和环境指南,以解决人类分析可能无法识别模式并在合适的现场筛选技术中提供详细见解的情况。这项研究的主要重点是弥合科学探究和实际应用之间的差距,从而促进了CCUS项目实施时明智的决策。严格的评估包括地质,海洋学和环保指标为决策者和行业领导者提供了宝贵的见解。确保已建立的离岸CO 2存储设施的准确性,效率和可扩展性,建议的机器学习方法进行基准测试。这种全面的评估包括使用机器学习算法,例如极端梯度提升(XGBoost),随机森林(RF),多层极限学习机器(MLELM)和深神经网络(DNN),以预测更合适的场地分数。在这些Al Gorithm中,DNN算法在现场得分预测中最有效。DNN算法的优势包括非线性建模,功能学习,规模不变性,处理高维数据,端到端学习,转移学习,表示形式学习和并行处理。The evaluation results of the DNN algorithm demonstrate high accuracy in the testing subset, with values of AAPD (Average Absolute Percentage Difference) = 1.486 %, WAAPD (Weighted Average Absolute Percentage Difference) = 0.0149 %, VAF (Variance Accounted For) = 0.9937, RMSE (Root Mean Square Error) = 0.9279, RSR (Root Sum of Squares Residuals) = 0.0068和r 2(确定系数)= 0.9937。
摘要 — 超维计算 (HDC) 正在迅速成为传统深度学习算法的有吸引力的替代方案。尽管深度神经网络 (DNN) 在许多领域取得了巨大的成功,但它们在训练期间所需的计算能力和存储空间使得将它们部署在边缘设备中非常具有挑战性,甚至不可行。这反过来不可避免地需要将数据从边缘传输到云端,这在可用性、可扩展性、安全性和隐私方面引发了严重的担忧。此外,边缘设备通常从传感器接收的数据本质上是有噪声的。然而,DNN 算法对噪声非常敏感,这使得以高精度完成所需的学习任务变得非常困难。在本文中,我们旨在全面概述 HDC 的最新进展。HDC 旨在通过使用更接近人脑的策略来实现实时性能和稳健性。事实上,HDC 的动机是人类大脑在高维数据表示上运行的观察。在 HDC 中,对象被编码为具有数千个元素的高维向量。在本文中,我们将讨论 HDC 算法对噪声的良好鲁棒性以及从少量数据中学习的能力。此外,我们将介绍 HDC 与冯·诺依曼架构之外的出色协同作用,以及 HDC 如何通过其所需的超轻量级实现为边缘高效学习打开大门,这与传统 DNN 不同。索引术语 — 超维计算、嵌入式系统、节能计算、对抗性攻击、电压调节、内存计算、安全、图形、机器人、计算机视觉
摘要 预测学生的解决问题策略是一个复杂的问题,但它会对自动教学系统产生重大影响,因为它们可以根据学习者的情况调整或个性化系统。虽然对于小型数据集,学习专家可能能够手动分析数据来推断学生的策略,但对于大型数据集,这种方法是不可行的。我们开发了一个机器学习模型来根据学生数据预测策略。虽然基于深度神经网络 (DNN) 的方法(例如 LSTM)可以应用于此任务,但它们对于大型数据集通常具有较长的收敛时间,并且与其他几种基于 DNN 的方法一样,存在数据过度拟合的固有问题。为了解决这些问题,我们开发了一种用于策略预测的神经符号方法,即结合符号 AI(可以编码领域知识)和 DNN 的优势的模型。具体来说,我们使用马尔可夫逻辑对数据中的关系进行编码,并利用这些关系之间的对称性来更有效地训练 LSTM。具体来说,我们使用重要性抽样方法,对训练数据进行抽样,以便对于对称实例的群集/组(策略可能对称的实例),我们仅选择代表性样本来训练模型,而不是使用整个组。此外,由于某些组可能包含比其他组更多样化的策略,我们会根据先前观察到的样本调整重要性权重。通过对 KDD EDM 挑战数据集进行实证评估,我们展示了我们方法的可扩展性。
Collect historical SE data (Load, generation, system model) Probability distribution function fitting Monte Carlo sampling and PF/OPF solution Embed noise functions to mimic instrumentation errors: “Synthetic Measurements” Identify dominant topologies Train DNN hyperparameters for base topologies and specific PMU placement
