知识图谱问答 (KGQA) 的流行模型,包括语义解析和端到端 (E2E) 模型,解码后会变成一个受限的 KG 关系空间。尽管 E2E 模型在测试时可以容纳新实体,但这种约束意味着它们无法访问新关系,每当向 KG 添加新关系时,都需要进行昂贵且耗时的重新训练。我们提出了 KG-Flex,一种用于 E2E KGQA 的新架构,它将解码为一个连续的关系嵌入空间,从而允许在测试时使用新关系。KG-Flex 是第一个支持使用全新三元组进行 KG 更新的架构,无需重新训练,同时仍支持通过简单、弱监督 (Q, A) 对进行端到端训练。我们的架构节省了重新训练的时间、精力和数据资源,同时仍保持了标准基准上的性能。我们进一步展示了新关系的零样本使用,在三个 QA 数据集上实现了高达 82% 的基线命中率@1。KG-Flex 还可以进行微调,所需时间明显短于完全重新训练;对目标数据进行 10% 完全训练的微调可将命中率@1 提高到基线的 89-100%。
摘要 本文重点研究情感识别,旨在基于脑电信号在与主体无关的范式中实现。然而,脑电信号在与主体无关的情感脑机接口 (aBCI) 中表现出主体不稳定性,从而导致分布偏移问题。此外,该问题可以通过领域泛化和领域自适应等方法得到缓解。通常,基于领域自适应的方法比领域泛化方法产生更好的结果,但对于新主体,需要更多的计算资源。我们提出了一种新颖的框架,即基于元学习的增强领域自适应,用于与主体无关的 aBCI。我们的领域自适应方法通过元学习得到增强,它由一个循环神经网络、一个分类器和一个基于求和可分解函数的分布偏移控制器组成。此外,我们提出,解释求和可分解函数的神经网络可以有效地估计不同领域之间的差异。增强域自适应的网络设置遵循元学习和对抗学习,其中控制器通过测试阶段的几个自适应步骤迅速适应使用目标数据的新域。我们提出的方法在公共 aBICs 数据集上的实验中被证明是有效的,并且实现了与最先进的域自适应方法类似的性能,同时避免使用额外的计算资源。
摘要: - 在数字化和旅行限制的背景下,全球云计算市场有望在2025年增长到3425亿美元。全球云服务提供商正在彻底改变其基础架构,服务和应用程序,以捕获市场的大部分市场。在现代时代,AI/ML发现了许多实际应用。在其中,神经网络(NNS)在计算机视觉,自然语言处理,序列生成等领域显示出巨大的成功。In this report, an exhaustive literature survey has been performed to understand how the existing cloud infrastructure and cloud services are using cutting-edge AI/ML capabilities to maximize their presence and the challenges still present that require in-depth analysis.The focus of this report will be on the cutting-edge, end-to-end generative models, graph learning, and AI/ML in 5G cloud services for next-generation cloud services.Generative modeling refers to the process of了解某些目标数据的结构并生成类似于培训数据的新数据。在机器学习文献中已经介绍了许多生成建模程序,例如用于时间建模的马尔可夫模型,受限的玻尔兹曼机器,生成对抗网络,变异自动编码器等。特别是,深度学习已被证明是处理这种生成任务的强大工具。本文涵盖了使用AI/ML,生成模型,其应用,培训,新兴技术的挑战以及最佳实践和指南的各个方面。
执行摘要 3 简介 4 联邦对气候行动的投资 5 联邦气候投资建模 6 各州的关键作用 8 评估各州实现 2025 年和 2030 年温室气体目标的进展情况 9 快速行动的重要性 11 评估到 2030 年的累计温室气体排放量 12 对美国排放量的影响 15 建议 17 在州一级设定目标 17 正确的政策工具包 19 结论 23 附录 1:各州 2025 年和 2030 年目标数据 24 加利福尼亚州 25 科罗拉多州 27 康涅狄格州 28 特拉华州 29 夏威夷州 30 伊利诺伊州 31 路易斯安那州 32 缅因州 33 马里兰州 34 马萨诸塞州 35 密歇根州 36 明尼苏达州 37 内华达州 38 新泽西州 39 新墨西哥州 40 纽约州 41 北卡罗来纳州 42 俄勒冈州 43 宾夕法尼亚州 44 波多黎各 45罗德岛 46 佛蒙特州 47 华盛顿州 48 威斯康星州 49 附录 2:各州减少经济领域温室气体排放的承诺 50 附录 3:预计排放量和不确定性 55 附录 4:对 Rhodium Group 美国气候服务数据的调整 57 华盛顿州 57 俄勒冈州 58 科罗拉多州 58 附录 5:估算温室气体排放目标的方法 59 附录 6:比较 GWP 值 60 附录 7:比较短期和长期气候污染物的目标轨迹 64
增加 AD GWAS 样本量将识别出更多的 AD 基因。然而,这需要广泛而有策略性的数据收集,而这在近期无法实现。此外,正如最近的一项研究表明,当样本量达到一定水平时,进一步增加样本量会导致基因识别的回报微乎其微,但成本却大幅增加 [16]。事实上,正如最近一项超过 100 万个样本的研究所示,迄今为止最大的 AD GWAS 仅识别出 7 个新基因位点 [15, 17]。虽然我们应该继续努力增加样本量,但迫切需要使用亚阈值 p 值检测 AD 基因的新方法。多基因风险评分 (PRS) 是疾病风险等位基因的加权和,用于预测疾病风险。它需要发现数据集来选择 SNP 并获得其权重;然后将 PRS 应用于独立于发现数据集的目标数据集以预测疾病风险。如果 PRS 具有较高的可预测性(即解释了目标数据集中的大部分变异),并且用于计算 PRS 的 SNP 解释了大部分 SNP 遗传性(h 2 snp ),那么这些 SNP 很可能是与疾病相关的 SNP。此外,如果我们还知道计算 PRS 时包含的 SNP 所影响的基因(即基于基因的 PRS),那么这些基因很可能是与疾病相关的基因。因此,基于基因的 PRS 提供了另一种识别具有亚阈值 p 值的疾病基因的方法。
在测试时将源模型调整到目标数据分布是解决数据移位问题的有效方法。以前的方法通过使用熵最小化或正则化等技术使模型适应目标分布来解决此问题。在这些方法中,模型仍然通过对完整测试数据分布使用无监督损失的反向传播进行更新。在现实世界的临床环境中,由于隐私问题和部署时缺乏计算资源,动态地将模型调整到新的测试图像并避免在推理过程中更新模型更有意义。为此,我们提出了一种新的设置 - 动态自适应,它是零样本和偶发的(即,模型一次适应单个图像,并且在测试时不执行任何反向传播)。为了实现这一点,我们提出了一个名为 Adaptive UNet 的新框架,其中每个卷积块都配备了一个自适应批量归一化层,以根据域代码调整特征。域代码是使用专门针对医学图像进行训练的域先验生成器生成的。在测试时,模型仅接收新的测试图像并生成域代码以根据测试数据实例调整源模型的特征。我们验证了 2D 和 3D 数据分布偏移的性能,与以前的测试时自适应方法相比,我们在测试时不执行反向传播的情况下获得了更好的性能。关键词:测试时自适应、医学图像分割。
内在语言是一种内化的语言,人们用这种语言思考纯粹的意义。从大脑活动数据中解码内在语言不仅可以促进残障患者的交流,还可以帮助健康人整理思路,提高对元认知的理解。在之前的研究中,一种名为 EEGNet 的 EEG 数据深度学习模型被用于内在语言解码。然而,它在 4 类分类任务中只达到了 30% 的准确率。数据稀缺和内在语言解码固有的难度可能是原因,但这项研究假设以前的研究中特征提取不足。为了提高解码内在语言的准确性,使用迁移学习被认为是更有效的;在这种学习中,模型事先在不同的数据集上进行训练,然后针对目标数据进行微调。然而,迁移学习尚未应用于内在语言,甚至尚未应用于 EEG 数据。迁移学习对不同任务的脑电图数据或非脑电图数据的有效性尚未得到充分验证。本研究通过使用不同任务的脑电图数据和非脑电图数据对公开的内部语音数据集进行迁移学习,验证了特征提取的改进。结果证实,使用来自不同受试者的数据的迁移学习可以提高内部语音的准确性,但使用来自不同任务的脑电图数据的迁移学习则不会。另一方面,对于图像数据集,通过冻结某些层可以确认准确性的提高,即使数据的性质与脑电图数据不同。
深层生成模型(DGM)是用于学习数据表示的多功能工具,同时合并了域知识,例如条件概率分布的规范。最近提出的DGMS解决了比较来自不同来源的数据集的重要任务。这样的示例是对比分析的设置,该分析的重点是描述与背景数据集相比富含目标数据集中的模式。这些模型的实际部署通常假定DGM自然推断出可解释的和模块化的潜在表示,这在实践中是一个问题。因此,现有方法通常依赖于临时正规化方案,尽管没有任何理论基础。在这里,我们通过扩展非线性独立组件分析领域的最新进展,提出了对比较DGM的可识别性理论。我们表明,尽管这些模型在一般的混合功能上缺乏可识别性,但当混合函数在零件上时,它们令人惊讶地变得可识别(例如,由Relu神经网络参数化)。我们还研究了模型错误指定的影响,并从经验上表明,当未提前知道潜在变量的数量时,以前提出的用于拟合比较DGM的正则化技术有助于识别性。最后,我们引入了一种新的方法,用于拟合比较DGM,该方法通过多目标优化改善了多个数据源的处理,并有助于使用约束优化以可解释的方式调整正规化的超参数。我们使用模拟数据以及通过单细胞RNA测序构建的细胞中的遗传扰动数据集以及最新的数据集验证了我们的理论和新方法。关键字:非线性ICA;深层生成模型;变分推断;解开;
最近,机器学习(ML)已成为支持自我适应的流行方法。ML已被用来处理自我适应的几个问题,例如保持最新的运行时模型不确定性和可扩展的决策。然而,利用ML带来了固有的挑战。在本文中,我们关注基于学习的自适应系统的特别重要挑战:在适应空间中漂移。使用适应空间,我们参考了自适应系统可以根据适应选项的估计质量属性进行选择以适应的适应选项集。适应空间的漂移源自不确定性,影响适应性访问的质量特性。这样的漂移可能意味着系统的质量可能会恶化,最终,没有适应选项可以满足初始适应目标集,或者可能出现适应选项,从而可以增强适应性目标。在ML中,这种转变对应于一种新型的班级外观,在目标数据中的一种概念漂移,常见的ML技术会遇到问题。为了解决这个问题,我们提出了一种新型的自我适应方法,可以增强具有终身ML层的基于学习的自适应系统。我们将这种方法称为终身自我适应。终生的ML层跟踪系统及其环境,将这些知识与当前的学习任务相关联,根据差异确定新任务,并相应地介绍了自适应系统的学习模型。人类利益相关者可能会参与支持学习过程并调整学习和目标模型。我们提出了终身自我适应的一般体系结构,并将其应用于影响自我适应决策的适应空间的漂移情况。我们使用Deltaiot示例来验证一系列场景的方法。
摘要:背景:记录脑机接口的校准数据是一个费力的过程,对受试者来说是一种不愉快的体验。域自适应是一种有效的技术,它利用来自源的丰富标记数据来弥补目标数据短缺的问题。然而,大多数先前的方法都需要首先提取脑电信号的特征,这会引发 BCI 分类的另一个挑战,因为样本集较少或目标标签较少。方法:在本文中,我们提出了一种新颖的域自适应框架,称为基于核的黎曼流形域自适应 (KMDA)。KMDA 通过分析脑电图 (EEG) 信号的协方差矩阵来绕过繁琐的特征提取过程。协方差矩阵定义了一个对称正定空间 (SPD),可以用黎曼度量来描述。在 KMDA 中,协方差矩阵在黎曼流形中对齐,然后通过对数欧几里德度量高斯核映射到高维空间,其中子空间学习通过最小化源和目标之间的条件分布距离同时保留目标判别信息来执行。我们还提出了一种将 EEG 试验转换为 2D 帧(E 帧)的方法,以进一步降低协方差描述符的维数。结果:在三个 EEG 数据集上的实验表明,KMDA 在分类准确度方面优于几种最先进的领域自适应方法,BCI 竞赛 IV 数据集 IIa 的平均 Kappa 为 0.56,BCI 竞赛 IV 数据集 IIIa 的平均准确度为 81.56%。此外,使用 E 帧后整体准确度进一步提高了 5.28%。 KMDA 在解决主体依赖性和缩短基于运动想象的脑机接口校准时间方面显示出潜力。