推断机器学习(ML)的重要性导致了大量不同的建议,尤其是在深度学习中。试图降低卷积神经网络的复杂性,我们提出了一个伏特拉过滤器启发的网络体系结构。此体系结构以延迟的数据输入样本之间的相互作用形式引起了受控的非线性。我们提出了一个级联的Volterra滤波实现,以大大减少执行与调用神经网络相同的分类任务所需的参数数量。我们证明了该伏特拉神经网络(VNN)的有效的并行实现,同时保持了相对简单且可能更易于处理的结构。此外,我们还展示了该网络对非线性融合RGB(空间)信息和视频序列的光流(时间)信息的相当复杂的适应,以进行动作识别。在UCF-101和HMDB-51数据集上评估了所提出的方法,以进行动作识别,并显示出优于最先进的CNN方法的状态。我们论文的代码库可在GitHub(https://github.com/sid- roheda/volterra-neural-networks)上找到。关键字:Volterra滤波器,活动识别,激活免费学习
在量子场论中,由于任意短距离的关联,EE 是一个紫外发散量,计算它需要引入调节器。对于自由量子场论中的有趣状态,可以使用高斯技术 [9–13] 来实现这一点,而二维共轭场论中的闭式结果和可处理的极限则来自于将其构造为主要算符的关联函数的解析延拓 [14–19],而在两个时空维度中,也可以使用张量网络技术来有效地计算 EE [20, 21]。在强耦合全息量子场论中,计算它归结为寻找最小曲面的几何问题 [22–25]。作为量子论量,它是全局纯态中 A 和 ¯ A 之间纠缠的可靠度量。在本研究中,我们将关注作为格点模型长距离极限出现的共形场论 (CFT),紫外截止将由间距为 δ 的底层格点提供。同时,我们将对考虑由两部分 A 和 B 组成的子系统的简化密度矩阵的情况感兴趣。在这种情况下要考虑的一个量是互信息 (MI),以 EE 定义为
基于能量的模型 (EBM) 是强大的概率模型 [8, 44],但由于配分函数的原因,其采样和密度评估难以处理。因此,EBM 中的推理依赖于近似采样算法,导致模型和推理不匹配。受此启发,我们将采样器诱导分布视为感兴趣的模型,并最大化该模型的似然。这产生了一类能量启发模型 (EIM),它结合了学习到的能量函数,同时仍提供精确样本和可处理的对数似然下限。我们基于截断拒绝抽样、自归一化重要性抽样和汉密尔顿重要性抽样描述和评估了此类模型的三个实例。这些模型的表现优于或相当与最近提出的学习接受/拒绝采样算法 [ 5 ],并为排序噪声对比估计 [ 34 , 46 ] 和对比预测编码 [ 57 ] 提供了新的见解。此外,EIM 使我们能够概括多样本变分下界 [ 9 ] 和辅助变量变分推断 [ 1 , 63 , 59 , 47 ] 之间的最新联系。我们展示了最近的变分界限 [ 9 , 49 , 52 , 42 , 73 , 51 , 65 ] 如何与 EIM 统一为变分家族。
a b s t r a c t重建宇宙的初始条件是宇宙学的关键问题。基于模拟宇宙向前发展的方法提供了一种推断与当今观测值一致的初始条件的方法。ho ver,由于推理问题的高复杂性,这些方法要么无法采样可能的初始密度领域的分布,要么需要模拟模型中的显着近似值是可触及的,因此可能导致偏见。在这项工作中,我们建议使用基于得分的生成模型来采样对早期的Uni Verse Gi ven当前观察结果的实现。我们从当今的密度范围内推断出全高分辨率暗物质n个体的初始密度字段,并根据摘要统计数据与地面真相相比验证了所产生的样品的质量。所提出的方法能够从初始条件后部分布边缘化的宇宙学参数提供早期宇宙密度领域的合理实现,并且比当前的最新方法更快地采样数量级。
异质多尺度方法(HMM)能够同时使用Exascale超级计算机的出现,能够同时使用多个尺度模拟多个尺度。但是,幼稚的实现显示大量裁员,并且非常昂贵。宏观模型通常需要计算大量非常相似的显微镜模拟。在层次方法中,这几乎不是一个问题,因为现象学组成模型很便宜。但是,当微观模拟需要例如高维分子动力学(MD)或有限元(Fe)模拟时,必须避免冗余。我们提出了一种适用于HMM工作流的聚类算法,该算法会自动分类并消除冗余显微镜模拟。该算法具有条纹的组合,以呈现微观模拟的参数配置和基于其相似性的图网络表示的低维表示。该算法可以将相似的参数配置聚类为单个参数,以减少所需的显微镜模拟数量。我们描述了算法在HMM应用耦合Fe和MD的背景下的实现,以预测聚合物 - 透明烯纳米复合材料的化学机械行为。该算法提供了计算效果的三倍降低,准确性损失有限。
最近关于机器学习公平性的研究主要强调如何定义、量化和鼓励“公平”结果。然而,人们较少关注这些努力背后的道德基础。在应该考虑的道德观点中,结果主义是其中之一,其立场大致认为结果才是最重要的。虽然结果主义并非没有困难,虽然它不一定提供一种可行的选择行动的方式(因为不确定性、主观性和聚合性的综合问题),但它仍然为批判现有的机器学习公平性文献提供了强有力的基础。此外,它还突出了一些相关的权衡,包括谁来计算的问题、使用政策的利弊以及遥远未来的相对价值。在本文中,我们对机器学习中公平性的常见定义进行了结果主义批判,并从机器学习的角度对结果主义进行了批判。最后,我们更广泛地讨论了学习和随机化问题,这对于自动决策系统的伦理具有重要的意义。
如果神经网络规模较大,则往往在训练时获得更高的准确度,即使生成的模型参数过多。但是,在训练之前、之中或之后小心地删除过多的参数,也可能产生准确度相似甚至更高的模型。在许多情况下,这可以通过简单的启发式方法实现,例如删除一定比例的绝对值最小的权重,即使绝对值并不是权重相关性的完美指标。前提是,获得明显更佳的剪枝性能取决于考虑删除多个权重的综合影响,因此,我们重新审视基于影响的剪枝的经典方法之一:最佳脑外科医生 (OBS)。我们提出了一种易于处理的启发式方法来解决 OBS 的组合扩展,其中我们选择要同时删除的权重,并将其与未剪枝权重的单次系统更新相结合。我们的选择方法在高稀疏性方面优于其他方法,如果在这些方法之后应用单次权重更新,也会很有优势。源代码:github.com/yuxwind/CBS。
– 我们引入了一种量子编程语言,名为 foq ,其中包含一阶递归程序。foq 程序的输入包括一组排序的量子比特,即一列成对不同的量子比特索引。foq 程序可以将对应于一元酉算子的基本算子应用于其每个量子比特。所考虑的算子集已根据 [17] 进行选择,以形成一组通用门。 – 在证明终止 foq 程序是可逆的(定理 1)之后,我们将程序限制为一个严格子集,名为 pfoq ,多项式时间为 foq 。对 pfoq 程序的限制是可处理的(即可以在多项式时间内确定,参见定理 2),确保程序在任何输入时终止(引理 1),并防止程序出现任何指数爆炸(引理 2)。 – 我们证明,对于量子复杂度类 fbqp 而言,pfoq 程序计算的函数类是健全且完备的。fbqp 是有界误差量子多项式时间的函数扩展,称为 bqp [ 3 ],这是一类决策问题,量子计算机可以在多项式时间内解决,错误概率最多为 1
如果神经网络规模较大,则往往在训练时获得更高的准确度,即使生成的模型参数过多。但是,在训练之前、之中或之后小心地删除过多的参数,也可能产生准确度相似甚至更高的模型。在许多情况下,这可以通过简单的启发式方法实现,例如删除一定比例的绝对值最小的权重,即使绝对值并不是权重相关性的完美指标。在获得明显更佳的剪枝性能取决于考虑删除多个权重的综合影响这一前提下,我们重新审视了基于影响的剪枝的经典方法之一:最佳脑外科医生 (OBS)。我们提出了一种易于处理的启发式方法来解决 OBS 的组合扩展,其中我们选择要同时删除的权重,并将其与未剪枝权重的单次系统更新相结合。我们的选择方法在高稀疏性方面优于其他方法,如果在这些方法之后应用单次权重更新,也会很有优势。源代码:github.com/yuxwind/CBS。
摘要:管理气候过渡为决策者提供了实现气候目标,财政可持续性和政治可行性之间的权衡,这呼吁采取财政平衡行为与政策的正确组合。本文开发了一个可拖动的动态通用平衡模型,以量化旨在在本世纪中叶到达零净零排放的各种气候政策包的财政影响。我们的模拟表明,主要依靠花费措施来实现气候野心将是昂贵的,可能会将债务提高到2050年的45-50%。但是,碳定价和基于支出的政策的平衡组合可以以净净的净资产成本较小,将公共债务的增加限制为到2050年的GDP的10-15%。碳定价不仅是减少排放的有效工具,而且还是收入来源的中心。延迟碳定价行动可能会增加成本,尤其是在缩小措施较低以满足气候目标的情况下。技术溢出可以降低成本,但是绿色投资的瓶颈可以放松收益并减缓过渡。