XiaoMi-AI文件搜索系统
World File Search System训练样本
深度操作员的学习减少了PDE的维度的诅咒
深层神经网络（DNNS）在众多领域取得了巨大的成功，并且它们在与PDE相关的问题上的应用正在迅速发展。本文使用DNN将学习Lipschitz操作员在Banach空间上使用DNN的概括错误提供了估计，并将其应用于各种PDE解决方案操作员。目标是指定DNN宽度，深度以及保证某个测试错误所需的训练样本数量。在对数据分布或操作员结构的轻度假设下，我们的分析表明，深层操作员学习可以放松地依赖PDE的离散化解决方案，从而减少许多与PDE相关的问题的诅咒，包括椭圆方程，抛物线方程，抛物线方程和汉堡方程。我们的结果还适用于在操作员学习中有关离散化侵权的见解。
![arxiv：2312.05989v2 [cs.lg] 15 Sep 2024](/simg/g:\will\search\icon\source\4\4a113b15883d212e8cc7acc710d29df13fa90cfd.webp)
arxiv：2312.05989v2 [cs.lg] 15 Sep 2024
有两种主要的扩散模型方法：降解扩散概率模型（DDPMS）（Sohl- Dickstein等，2015； Ho等，2020）和基于得分的生成模型（Song＆Ermon，2019）（SGMS）（SGMS）。以前的DDPM逐渐通过向前过程将样品从目标分布转换为噪声，并训练向后的过程逆转转换并用于生成新样品。另一方面，SGM使用得分匹配技术（Hyvärinen＆Dayan，2005; Vincent，2011）来学习数据生成分布的得分函数的近似，然后使用Langevin Dynamics生成新样本。由于对于现实世界的分布，得分功能可能不存在，Song＆Ermon（2019）建议在训练样本中添加不同的噪声水平以覆盖整个实例空间，并训练神经网络以同时学习所有噪声水平的得分函数。
大脑年龄预测：使用基于区域和体素的形态学数据
图1基于区域和体素的SVR，RVR和GPR模型的MAE具有或没有PCA的GPR模型，训练集大小与机会水平相比（7.5岁；黑色虚线）。显示了CV（站点1）和独立测试集（站点2; Blue Line）中的训练（红线）和测试集（绿线）中的性能（绿线）。使用Bootstrap分析计算了不同数据集的置信区间（阴影区域）。请注意，自举训练样本被选择为年龄和性别的年龄和性别，大小增加，最少有一个男人和一个女性，最多一个男性，最多有20名男性和20名女性。对于带有PCA的基于体素的模型，无法评估具有<150个受试者的数据集，因为PCA算法比主要组件需要更多的样本。此外，由于有限的时间和计算资源
人工智能任务中的好奇心驱动学习
心理好奇心在人类智能中发挥着重要作用，它通过探索和信息获取来增强学习。在人工智能 (AI) 社区中，人工好奇心为高效学习提供了自然的内在动机，其灵感来自人类的认知发展；同时，它可以弥合人工智能研究与实际应用场景之间的现有差距，例如过度拟合、泛化能力差、训练样本有限、计算成本高等。因此，好奇心驱动的学习 (CDL) 变得越来越流行，其中代理自我激励学习新知识。在本文中，我们首先对好奇心的心理学研究进行了全面的回顾，并总结了一个量化好奇心的统一框架及其唤醒机制。基于心理学原理，我们进一步调查了强化学习、推荐和分类领域中现有 CDL 方法的文献，讨论了其优缺点以及未来的工作。因此，这项工作为未来的 CDL 研究提供了有益的见解，并为进一步改进提供了可能的方针。
极光分类人体工程学及其对...的影响 - GI
摘要。机器学习研究界非常关注算法中的偏见，并已确定了其不同的表现形式。训练样本中的偏见被认为是机器学习中偏见的潜在来源。它可以由定义训练集的人类专家引入。随着机器学习技术应用于极光分类，识别和解决专家注入偏见的潜在来源非常重要。在一项正在进行的研究中，13 947 张极光图像被手动分类，分类之间存在显著差异。这个大型数据集允许识别其中一些偏差，特别是那些源于分类过程的人体工程学的偏差。本文提出的这些发现作为提高训练数据完整性的清单，不仅适用于专家分类，也适用于众包公民科学项目。由于机器学习技术在极光研究中的应用相对较新，因此在偏差成为训练数据语料库中普遍存在的问题之前，识别和解决偏差非常重要。
极光分类人体工程学及其对...的影响 - GI
摘要。机器学习研究界非常关注算法中的偏见，并已确定了其不同的表现形式。训练样本中的偏见被认为是机器学习中偏见的潜在来源。它可以由定义训练集的人类专家引入。随着机器学习技术应用于极光分类，识别和解决专家注入偏见的潜在来源非常重要。在一项正在进行的研究中，13 947 张极光图像被手动分类，分类之间存在显著差异。这个大型数据集允许识别其中一些偏差，特别是那些源于分类过程的人体工程学的偏差。本文提出的这些发现作为提高训练数据完整性的清单，不仅适用于专家分类，也适用于众包公民科学项目。由于机器学习技术在极光研究中的应用相对较新，因此在偏差成为训练数据语料库中普遍存在的问题之前，识别和解决偏差非常重要。
空间上遥远，生态上接近：评估外推......
由于不同区域环境条件不同，地理分布数据在不同位置自然存在差异。当我们将模型应用于不同位置时，训练数据和测试数据之间的输入变量会发生表征或协变量偏移。理论上，我们预计这种协变量偏移会对模型性能产生不利影响。然而，这种负面影响很难仅凭输入数据预先估计，而且即使在分布发生偏移的情况下，训练好的模型也可能表现得出奇地好。本文探讨了不同的协变量偏移策略如何影响模型在地理空间植被预测中的性能。在实验中，我们证明，该模型能够利用可比环境条件下植被的相似生态行为，在远离训练样本的空间位置进行准确预测。最后，我们将进行详尽的总结，概述我们的研究成果，并对我们希望在研讨会上深入探讨的讨论要点进行展望。
通过...连接显式和隐式深度生成模型
深度生成模型有两种类型：显式和隐式。前者定义了一种显式密度形式，允许似然推断；而后者则针对从随机噪声到生成样本的灵活转换。虽然这两类生成模型在许多应用中都表现出强大的能力，但单独使用时，它们都有各自的局限性和缺点。为了充分利用这两种模型并实现相互补偿，我们提出了一种新颖的联合训练框架，该框架通过 Stein 差异连接显式（非规范化）密度估计器和隐式样本生成器。我们表明，我们的方法 1) 通过核 Sobolev 范数惩罚和 Moreau-Yosida 正则化引入了新颖的相互正则化，2) 稳定了训练动态。从经验上讲，我们证明，与训练单个对应方相比，所提出的方法可以促进密度估计器更准确地识别数据模式并引导生成器输出更高质量的样本。当训练样本受到污染或有限时，新方法也显示出有希望的结果。
使用 EEGNet 和神经网络进行单次试验脑电图分类 ...
摘要 — 研究和开发新的机器学习技术来增强脑机接口 (BCI) 的性能一直是研究人员感兴趣的领域。开发稳健且通用的分类器一直是 BCI 在实际应用中的重要要求之一。EEGNet 是一个紧凑的 CNN 模型，据报道它可以推广到不同的 BCI 范式。在本文中，我们旨在通过采用神经结构化学习 (NSL) 进一步改进 EEGNet 架构，该学习利用数据中的关系信息来规范神经网络的训练。这将允许 EEGNet 做出更好的预测，同时保持输入的结构相似性。除了更好的性能之外，EEGNet 和 NSL 的组合更加稳健，适用于较小的训练样本，并且需要单独的特征工程，从而节省计算成本。所提出的方法已经在两个标准运动图像数据集上进行了测试：第一个是来自格拉茨大学的两类运动图像数据集，第二个是来自 2008 年 BCI 竞赛的 4 类数据集 2a。准确性表明，我们结合 EEGNet 和 NSL 的方法优于单一 EEGNet 模型。
生成扩散模型中的记忆和正则化
摘要。扩散模型已成为生成建模的强大框架。该方法的核心是分数匹配：在不同尺度上，数据分布的嘈杂版本的对数密度的学习梯度。当使用经验数据而不是人口损失评估评分匹配中采用的损失函数时，最小化器对应于时间依赖的高斯混合物的得分。但是，使用此分析可牵引的最小化器会导致数据记忆：在无条件和条件设置中，生成模型都返回训练样本。本文包含对记忆潜在的动力学机制的分析。分析强调了避免重现分析可牵引的最小化器的正规化的必要性；而且，这样做的基础是对如何正规化的原则理解。数值实验研究了：（i）Tikhonov正则化的特性； （ii）旨在促进渐近一致性的正则化； （iii）通过训练神经网络的神经网络的参数不足或提早停止引起的正常化。这些实验是在记忆的背景下评估的，并突出了未来正规化发展的方向。