首字母缩略词 定义 ABAWD 无家属的健全成年人 AE 成人教育 AJC 美国就业中心 CAP 纠正行动计划 CEO 经济机会中心 CHAT 田纳西州综合健康学院 CGI 查塔努加善意工业公司 E&T 就业与培训 EBMS 资格和福利管理系统 EPB 基础技能指导部分 EPEL 英语语言习得部分 EPC 职业/技术教育计划或其他职业培训部分 EPWRT 工作准备培训部分 ETPL 合格培训提供商列表 FFY 联邦财政年度 FY 财政年度 FNS 食品与营养服务 GA 一般援助 HiSET 高中同等学历考试 HSE 高中同等学历 IELCE 综合英语素养和公民教育 IEP 个性化就业计划 IET 综合教育与培训 IGA 机构间赠款协议 ITO 印第安部落组织 JR 工作保留部分 JST 求职培训部分 LFPR 劳动力参与率 LWDA 当地劳动力发展区 MOU 谅解备忘录 MOV Men of Valor OSO 一站式运营商
近年来,基于能量的模型 (EBM) 在机器学习中经历了复苏,包括成为概率回归的有前途的替代方案。然而,基于能量的回归需要手动设计一个用于训练的提议分布,并且必须在测试时提供初始估计。我们通过引入一种概念上简单的方法来自动学习有效的提议分布来解决这两个问题,该方法由单独的网络头参数化。为此,我们得出了一个令人惊讶的结果,即得出一个统一的训练目标,该目标共同最小化从提议到 EBM 的 KL 分歧,以及 EBM 的负对数似然。在测试时,我们可以对训练过的提议进行重要性抽样,以有效评估学习到的 EBM 并产生独立的预测。此外,我们利用我们得出的训练目标,通过联合训练的基于能量的教师来学习混合密度网络 (MDN),在计算机视觉领域的四个真实世界回归任务中,其表现始终优于传统的 MDN 训练。代码可在 https://github.com/fregu856/ebms_proposals 获得。
分数匹配 (SM) [ 24 ] 通过避免计算配分函数,为学习基于能量的模型 (EBM) 提供了一种引人注目的方法。然而,除了一些特殊情况外,学习基于能量的潜变量模型 (EBLVM) 仍然有很大空间。本文提出了一种双层分数匹配 (BiSM) 方法,通过将 SM 重新表述为双层优化问题来学习具有一般结构的 EBLVM。较高级别引入潜变量的变分后验并优化修改的 SM 目标,较低级别优化变分后验以拟合真实后验。为了有效地解决 BiSM,我们开发了一种带有梯度展开的随机优化算法。从理论上讲,我们分析了 BiSM 的一致性和随机算法的收敛性。从实证上,我们展示了 BiSM 在高斯限制玻尔兹曼机和由深度卷积神经网络参数化的高度非结构化 EBLVM 中的前景。当适用时,BiSM 与广泛采用的对比散度和 SM 方法相当;并且可以学习具有难以处理的后验的复杂 EBLVM 来生成自然图像。
摘要 — 持续学习已成为许多实际应用(例如在线新闻摘要和产品分类)中必不可少的部分。主要挑战被称为灾难性遗忘,即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL(基于潜在空间能量的持续学习模型)是使用基于能量的模型 (EBM) 来防止灾难性遗忘,方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性,在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成
摘要 — 持续学习已成为许多实际应用(例如在线新闻摘要和产品分类)中必不可少的部分。主要挑战被称为灾难性遗忘,即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL(基于潜在空间能量的持续学习模型)是使用基于能量的模型 (EBM) 来防止灾难性遗忘,方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性,在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成
由于配分函数难以处理,通过最大似然法训练基于能量的模型 (EBM) 需要马尔可夫链蒙特卡罗 (MCMC) 采样来近似数据和模型分布之间的 Kullback-Leibler 散度的梯度。然而,由于模式混合困难,从 EBM 中采样并非易事。在本文中,我们提出学习变分自动编码器 (VAE) 来初始化有限步长 MCMC,例如从能量函数推导出来的朗之万动力学,以实现 EBM 的有效摊销采样。利用这些摊销的 MCMC 样本,EBM 可以通过最大似然法进行训练,这遵循“综合分析”方案;而 VAE 通过变分贝叶斯从这些 MCMC 样本中学习。我们将这种联合训练算法称为变分 MCMC 教学,其中 VAE 追逐 EBM 朝向数据分布。我们将学习算法解释为信息几何背景下的动态交替投影。我们提出的模型可以生成与 GAN 和 EBM 相当的样本。此外,我们证明了我们的模型可以学习针对监督条件学习任务的有效概率分布。
摘要。一维气候能量平衡模型(1D EBM)是基于地球能量预算的划定全球温度启用的简化气候模型。我们检查了一类一类EBM,该类别作为与相关变量问题的Euler-Lagrange方程相对应的抛物线方程,涵盖了空间不均匀模型,例如与纬度依赖性扰动性的贝甲。。我们还将最小化器的解释为时间依赖性和随机1D EBM的“典型”或“可能”解决方案。然后,我们检查了值函数之间的连接,该值函数代表了客观功能的最小值(在所有温度下),被视为温室气体浓度的函数和全球平均温度(也是温室气体浓度的函数,即分叉图)。特别是,只要有独特的最小化脾气,但全球平均温度持续变化,但是共存的最小化器必须具有不同的全球平均温度。此外,对于温室气体浓度,全球平均温度不稳定,其跳跃必须必须向上上升。我们发现对更一般的空间异质反应 - 扩散模型的适用性也被解散了,对我们的结果的物理解释也是如此。
贝叶斯大脑理论表明,大脑采用生成模型来阐明外部世界。基于抽样的视角认为,大脑通过随机神经元反应的样品渗透后验分布。此外,大脑不断更新其生成模型,以接近外部世界的真实分布。在这项研究中,我们介绍了基于元素的基于户主的基于能量的(HEE)模型,该模型捕获了推理和学习的动力学。在HEE模型中,我们将分区函数分解为各个层,并利用较短时间常数的一组神经元来采样分解归一化项的梯度。这使我们的模型可以估计分区函数并同时执行推理,从而规避传统基于能量的模型(EBM)中遇到的负相位。因此,学习过程在时间和空间上都是本地化的,模型易于收敛。为了匹配大脑的快速计算,我们证明了神经适应性可以用作动量术语,从而显着加速了推理过程。在自然图像数据集上,我们的模型表现出类似于在生物视觉系统中观察到的表示。此外,对于机器学习社区,我们的模型可以通过关节或边际生成产生观察。我们表明,边际发电的表现优于联合产生,并且与其他EBM的表现达到了绩效。
摘要 - 基于卷积神经网络(CNN)的深度学习方法显示,基于成像数据,基于成像数据的痴呆症的早期和准确诊断的早期和准确诊断都很大。但是,这些方法尚未在临床实践中被广泛采用,这可能是由于深度学习模型的解释性有限。可解释的提升机(EBM)是玻璃框模型,但无法直接从输入成像数据中学习功能。在这项研究中,我们提出了一个可解释的新型模型,该模型结合了CNN和EBM,以诊断和预测AD。我们制定了一种创新的培训策略,该策略将CNN组件作为功能提取器和EBM组件作为输出块而交替训练CNN组件,以形成端到端模型。该模型将成像数据作为输入,并提供预测和可解释的特征重要性度量。我们验证了有关阿尔茨海默氏病神经影像学计划(ADNI)数据集的拟议模型,以及Health-Ri Parelsnoer神经疾病生成疾病生物库(PND)作为外部测试集。所提出的模型以AD和对照分类为0.956的面积为0.956,预测轻度认知障碍(MCI)在ADNI队列上进行AD的预测为0.694。所提出的模型是与其他最先进的黑盒模型相当的玻璃盒模型。我们的代码可在以下网址提供:https://anonymon.4open.science/r/gl-icnn。索引术语 - Alzheimer氏病,MRI,深度学习,转换神经网络,可解释的提升机器,明显的人工智能
