XiaoMi-AI文件搜索系统
World File Search System元学
物理系统的可解释的元学习
机器学习方法在科学过程中可能是有价值的帮助，但是他们需要面对来自非均匀实验条件的数据的具有挑战性的环境。最近，元学习方法在多任务学习方面取得了重大进展，但它们依靠黑盒神经网络，占据高计算成本和有限的解释性。利用学习问题的结构，我们认为可以使用更简单的学习模型，并具有以学习任务为例，可以使用更简单的学习模型来实现多环境的概括。至关重要的是，我们证明该体系结构可以识别系统的物理参数，从而实现可解释的学习。我们通过将其与物理系统上的最新算法进行比较，降低了我们方法的竞争性概括性能和低计算成本，从玩具模型到复杂的，非分析系统。我们的方法的解释性用原始应用在物理参数诱导的适应性和自适应控制中进行了说明。
模型 - 敏捷的元学习者用于估计
在许多学科（例如个性化医学）中，随着时间的推移估算异质治疗效果（HTE）至关重要。现有的此任务的作品主要集中在基于模型的学习者上，这些学习者适应了特定的机器学习模型和调整机制。相比之下，模型不足的学习者（所谓的元学习者）在很大程度上没有探索。在我们的论文中，我们提出了几个元学习者，这些学习者可以与型号不合时宜，因此可以与任意机器学习模型（例如变形金刚）结合使用，以随着时间的推移估算HTES。然后，我们提供了一项全面的理论分析，该分析表征了不同的学习者，并使我们能够洞悉特定的学习者何时更可取。此外，我们提出了一种新颖的IVW-DR-LEARNER，即（i）使用双重稳健（DR）和正交损失； （ii）利用我们得出的逆变量权重（IVW），这些权重稳定了DR-als。由于DR-loss中的反质量反应产物，我们的IVW减小极端轨迹，导致估计方差较低。我们的IVW-DR-LEARNER在我们的实验中取得了卓越的性能，尤其是在重叠率较低和长期视野的方案中。
人工智能多目标元学习
元学习已经成为许多机器学习问题的强大工具。在为现实世界应用设计学习模型时需要考虑多种因素，具有多种目标的元学习引起了很多关注。但是，现有作品要么将多个目标结合到一个目标中，要么采用进化算法来处理它，在这种算法中，前者的方法需要支付高计算成本来调整组合系数，而后一种方法在计算上是沉重的，并且无法集成到基于梯度的优化中。为了减轻这些局限性，在本文中，我们旨在提出一个基于通用梯度的多目标元学习（MOML）框架，并在许多机器学习问题中进行了应用。特别是，MOML框架以多个目标作为多目标双级优化问题（MOBLP）制定了元学习的目标函数，其中高级子问题是解决了元元素的几个可能构成可能构成目标的目标。与现有作品不同，在本文中，我们提出了一种基于梯度的算法来解决MOBLP。特别是，我们通过分别通过梯度下降方法和基于梯度的多目标优化方法交替求解了基于第一个梯度的优化算法。从理论上讲，我们证明了收敛性，并对拟议的基于梯度的优化算法提供了非渐近分析。MOML的源代码可在https：// github .com /baijiong -lin /moml上找到。从经验上讲，广泛的实验证明了我们的理论结果合理，并证明了提出的MOML框架对不同学习问题的优越性，包括很少的学习，领域适应性，多任务学习，神经结构搜索和增强学习。
gizaml：使用LLM进行自动时间序列预测的基于协作元学习的框架
机器学习算法在依靠时间序列数据（例如能量预测，环境监控和电信等时间序列数据）方面表现出显着的成功。随着时间序列数据的越来越多的流行率，有一个越来越多的授权可以用于预测任务的准确和广义模型。培训这种模型是一个高度迭代的过程，需要对时间序列数据和机器学习算法有深刻的了解。我们演示了Gizaml，这是一种基于元学习的框架，专门针对自动化算法选择和用于预测时间序列的超参数调整。gizaml主要包括两个关键阶段：数据和特征工程阶段，以及建议和优化阶段。在数据和功能工程阶段中，GizAML对数据集进行重新启动，以获取均匀的时间间隔，处理离群值并自动提取各种与时间序列相关的功能。在推荐和优化阶段，Gizaml采用了一种元模型，该元模型提出了机器学习管道配置的实例化，这些配置预计将在新型数据集中表现出很强的表现。这些配置温暖启动了采用有效的贝叶斯选择方法的优化阶段。元模型采用大型语言模型（LLM），用于生成数据集表示的嵌入代表向量。Gizaml使用9种不同的回归机学习算法和每种不同的超参数配置。此外，Gizaml利用新的运行来不断提高对未来时间序列预测任务的元模型建议的性能和鲁棒性。我们的演示方案表明，Gizaml的表现优于当前最新的开源自动化机器学习框架。
pmfl：针对异构任务的部分元元学习及其在现实世界病历上的应用
摘要 - 填充的机器学习是一种多功能且灵活的工具，可利用来自不同来源的分布式数据，尤其是当通信技术迅速发展并且可以在移动设备上收集空前的数据时。联合学习方法不仅利用了数据，还利用网络中所有设备的计算能力来实现更有效的模型培训。然而，尽管大多数传统的联合学习方法在同质数据和任务中都很好地工作，但将方法调整为杂项数据和任务分布既具有挑战性。此限制限制了联邦学习在现实世界中，尤其是在医疗环境中的应用。受到元学习的基本观念的启发，在本研究中，我们提出了一种新算法，该算法是联合学习和元学习的整合，以解决这个问题。此外，由于模型概括的转移学习的优势，我们通过引入部分参数共享以平衡全球和本地学习来进一步改善算法。我们将此方法命名为部分元元学习（PMFL）。最后，我们将算法将其应用于两个医疗数据集。我们表明，我们的算法可以获得最快的训练速度，并在处理异质医疗数据集时获得最佳性能。源代码可在https://github.com/destiny301/pmfl上找到。索引术语 - 填写学习，学习，转移学习，医学，自然语言处理
学习推迟人口：一种元学习方法
学习推迟（L2D）框架的学习允许自主系统通过将艰难的决策分配给人类的前提来安全和强大。L2D上的所有现有工作都假定每个专家都已识别，如果要更改任何一个专家，则应重新训练该系统。在这项工作中，我们减轻了这一约束，制定了一个可以在测试时间内与未见面的专家应对的L2D系统。我们通过使用元学习来实现这一目标，即同时考虑基于优化和基于模型的变体。给定一个小上下文设置以表征当前可用的外观，我们的框架可以快速调整其范围的政策。对于基于模型的方法，我们采用了一种注意机制，该机制能够在上下文集中寻找与给定测试点相似的点，从而对专家的能力进行了更精确的评估。在实验中，我们验证了有关图像识别，交通符号和皮肤病变诊断基准的方法。
用于评估决策信心的元学习 BCI
摘要 目的。我们研究了最近引入的基于元学习的迁移学习技术是否可以提高脑机接口 (BCI) 在决策信心预测方面的性能，而传统机器学习方法则无法实现。方法。我们将偏向正则化算法的元学习应用于基于视频馈送的困难目标识别任务中，根据脑电图 (EEG) 和眼电图 (EOG) 数据逐个决策地预测决策信心的问题。该方法利用以前参与者的数据来生成预测算法，然后快速调整该算法以适应新参与者。我们将该方法与 BCI 中几乎普遍采用的传统单受试者训练、一种称为领域对抗神经网络的最先进的迁移学习技术、我们最近用于类似任务的零训练方法的迁移学习改编以及简单的基线算法进行了比较。主要结果。在大多数情况下，元学习方法明显优于其他方法，在只有来自新参与者的有限数据可用于训练/调整的情况下，效果要好得多。通过有偏正则化的元学习，我们的 BCI 能够无缝集成来自过去参与者的信息与来自特定用户的数据，以产生高性能预测器。它在小型训练集存在下的稳健性是 BCI 应用中的真正优势，因为新用户需要在更短的时间内训练 BCI。意义。由于 EEG/EOG 数据的多变性和噪声，BCI 通常需要使用来自特定参与者的数据进行训练。这项工作表明，使用我们的有偏正则化元学习版本可以获得更好的性能。
通过多任务元学习实现数据高效的脑连接组分析
脑网络将脑区之间的复杂连接表征为图结构，为研究脑连接组提供了有力的手段。近年来，图神经网络已成为一种流行的结构化数据学习范式。然而，由于数据获取成本相对较高，大多数脑网络数据集的样本量有限，这阻碍了深度学习模型的充分训练。受元学习的启发，元学习可以在有限的训练样本下快速学习新概念，本文研究了在跨数据集环境中分析脑连接组的数据高效训练策略。具体来说，我们建议在大样本量的数据集上对模型进行元训练，并将知识迁移到小数据集。此外，我们还探索了两种面向脑网络的设计，包括图谱变换和自适应任务重新加权。与其他预训练策略相比，我们基于元学习的方法实现了更高、更稳定的性能，这证明了我们提出的解决方案的有效性。该框架还能够以数据驱动的方式获得有关数据集和疾病之间相似性的新见解。
基于元学习的药物-靶标结合亲和力预测
在药物研发的早期阶段，准确预测靶蛋白与药物的结合行为对于发现具有良好效力和选择性的候选分子至关重要 (Hughes et al., 2011)。药物-靶标结合亲和力 (DTA) 预测是一个回归问题，旨在预测实验测量的结合亲和力值，这有助于对化合物进行排序和优化。尽管它通常比药物-靶标相互作用 (DTI) 预测问题更困难，后者是对活性/非活性化合物的二元分类，但 DTA 预测已根据深度学习的最新进展得到积极解决 (Ragoza 等人，2017 年；Stepniewska-Dziubinska 等人，2018 年；Jim´enez 等人，2018 年；Zhang 等人，2019 年；Jones 等人，2021 年；Abbasi 等人，2020 年；¨ Ozt¨urk 等人，2018 年；Abbasi 等人，2020 年；Nguyen 等人，2020b；2021)。