并非所有神经网络架构都是一样的,有些架构在某些任务上的表现比其他架构好得多。但是,与神经网络架构相比,权重参数有多重要?在这项工作中,我们想知道,在没有学习任何权重参数的情况下,神经网络架构本身能在多大程度上为给定任务编码解决方案。我们提出了一种搜索方法,用于搜索无需任何明确权重训练就能执行任务的神经网络架构。为了评估这些网络,我们用从均匀随机分布中采样的单个共享权重参数填充连接,并测量预期性能。我们证明,我们的方法可以找到无需权重训练就能执行多项强化学习任务的最小神经网络架构。在监督学习领域,我们发现使用随机权重在 MNIST 上实现远高于偶然准确率的网络架构。本文的交互式版本位于 https://weightagnostic.github.io/
可再生能源:利用自然的力量 可再生能源对于应对气候变化和确保可持续的未来至关重要。这些能源利用自然过程来发电,而不会耗尽有限的资源或排放有害的温室气体。 II. 一种重要的可再生能源是太阳能,它利用光伏电池或太阳能热系统利用阳光。光伏电池将阳光直接转化为电能,而太阳能热系统则使用镜子或透镜来聚集阳光并产生热量,然后可用于生产电能或热水。
目前的深度学习算法可能无法在大脑中运行,因为它们依赖于权重传输,即前向路径神经元将其突触权重传输到反馈路径,而这种方式在生物学上可能是不可能的。一种称为反馈对齐的算法通过使用随机反馈权重实现了没有权重传输的深度学习,但它在困难的视觉识别任务上表现不佳。在这里,我们描述了两种机制——一种称为权重镜像的神经回路和 1994 年 Kolen 和 Pollack 提出的算法的修改——这两种机制都允许反馈路径即使在大型网络中也快速准确地学习适当的突触权重,而无需权重传输或复杂的布线。在 ImageNet 视觉识别任务上进行测试,这些机制的学习效果几乎与反向传播(深度学习的标准算法,使用权重传输)一样好,并且它们优于反馈对齐和另一种较新的无传输算法符号对称方法。
摘要 - 在本文中,我们研究了在通用量子游戏中学习的广泛使用矩阵乘量(MMW)动力学的平衡收敛性和稳定性。这项努力的一个关键困难是,诱导的量子状态动力学自然地分解为(i)经典的,可交换性的成分,该动态以类似于在经典复制器动力学下的混合策略的演化方式控制系统特征值的动力学; (ii)系统特征向量的非交通分量。这个非交通性的组件没有经典的对应物,因此需要引入(渐近)稳定性的新颖概念,以说明游戏量子空间的非线性几何形状。在这种一般情况下,我们表明(i)只有纯量子平衡才能稳定并在MMW动力学下吸引; (ii)作为部分匡威的纯量子状态,满足某种“变分稳定性”条件的纯量子总是会吸引。这使我们能够充分表征在MMW动力学下稳定并吸引的量子NASH平衡的结构,这一事实对预测多代理量子学习过程的结果具有重要意义。
深层生成模型(例如流量和扩散模型)已被证明在建模高维和复杂的数据类型(例如视频或蛋白质)方面具有有效性,这激发了它们在不同数据模式(例如神经网络重量)中的使用。神经网络权重的生成模型对于贝叶斯深度学习,学习优化和转移学习等多种应用程序将很有用。但是,重量空间生成模型的现有工作通常忽略神经网络权重的对称性,或者仅考虑其中的一个子集。对这些对称性进行建模,例如MLP中的子顺序之间的置换对称性,卷积网络中的滤波器或通过使用非线性激活而产生的比例对称性,具有通过有效地降低问题的降低降低问题的重量模型的潜力。从这个角度来看,我们旨在在重量空间中设计生成模型,以更加仔细地尊重神经网络重量的对称性。我们以流量匹配的生成建模为基础,而权重空间图神经网络设计以设计三个不同的重量空间流。我们的每个流量都采用不同的方法来建模神经网络权重的几何形状,因此使我们能够以原则上的方式探索权重空间流的设计空间。我们通过列出了在重量空间的常规模型上列出未来工作的潜在方向来得出结论。我们的结果证实,建模神经网络的几何形状更忠实地导致更有效的流量模型,可以推广到不同的任务和体系结构,并且我们表明,尽管我们的流量以比以前的工作少的参数获得竞争性能,但可以进一步改进它们,通过扩展它们。
b'Abstract本文讨论了将双重/伪证机器学习(DDML)与堆叠配对,这是一种模型平均方法,用于结合多个候选学习者,以估计结构参数。除了传统的堆叠外,我们还考虑了可用于DDML的两个堆叠变体:短堆栈利用DDML的交叉拟合步骤可大大减轻计算负担,并汇总堆叠量强制执行常见的堆叠权重,而不是交叉折叠。使用校准的模拟研究和两种估计引用和工资中性别差距的应用,我们表明,与基于单个预先选择的学习者的常见替代方法相比,堆叠的DDML对部分未知的功能形式更强大。我们提供实施建议的Stata和软件。JEL分类:C21,C26,C52,C55,J01,J08'
CDP的2024年一般全公司问卷 - 气候变化有17个类别。在2024年,气候变化类别发生了重大变化。有关更多信息,请阅读第3页的摘要。认识到其相对重要性,某些类别的加权更为重。例如,通过证明对气候相关问题的高级监督以及管理这些问题的激励措施,这是公司在“治理”类别中提供与气候相关问题的重要性的关键。“商业策略”类别还被激励以鼓励公司采用最佳实践。这包括前瞻性策略和由与气候相关的未来市场机会,公共政策目标和公司责任驱动的财务决策。评估在各个时间范围内接触与气候相关的风险和机会的机会,可以开发考虑过渡到巴黎协议和联合国可持续发展目标中认可的净零碳经济的策略。因此,公司必须披露定义的流程,以识别,评估和响应“依赖关系,影响,风险和机遇过程”类别中与气候相关的依赖关系。对于2024年气候变化问卷,验证的高权重(包括排放)'反映了环境报告中的最佳实践,在该报告中,排放保证可确保披露的数据和流程的质量。这对于设定现实的减排目标至关重要。此外,目标设置为环境策略提供了方向和结构。提供有关定量目标和定性目标的信息,以及针对这些目标取得的进步,可以证明您的组织致力于在公司一级改善与气候相关的问题管理。此信息与投资者对贵公司如何解决和监视有关披露的风险和机会的进度的理解有关,并在“目标”类别的高度加权中得到认可。
指数成分股截至:2024 年 10 月 31 日 公司名称 权重 (%) NVIDIA Corp 8.63 Alphabet Inc 8.32 Amazon.com Inc 8.12 Microsoft Corp 7.93 Meta Platforms Inc 7.74 Taiwan Semiconductor Manufactu 4.28 ServiceNow Inc 4.13 Apple Inc 4.05 Oracle Corp 3.99 Broadcom Inc 3.90 Adobe Inc 3.83 Advanced Micro Devices Inc 3.42 ASML Holding NV 3.30 QUALCOMM Inc 2.80 Palantir Technologies Inc 2.58 Intuit Inc 2.56 Micron Technology Inc 1.70 Arista Networks Inc 1.46 Shopify Inc 1.41 Synopsys Inc 1.21 Cadence Design Systems Inc 1.16 Datadog Inc 1.10 Marvell Technology Inc 1.07 Snowflake Inc 1.04 Crowdstrike Holdings Inc 1.04 SK海力士公司 1.01 联发科技公司 0.84 Vertiv Holdings Co 0.61 Zoom Video Communications Inc 0.56 Monolithic Power Systems Inc 0.55 Atlassian Corp 0.46 ASM International NV 0.39
统计的核心挑战之一是从样本到人群概括。自然的第一步是调整样本和人群之间的已知,预期或假定差异1。但是,即使是这种基本的纠正水平也可能具有挑战性,尤其是当样本和人口在许多方面差异时(例如,社会调查中的年龄,性别,性别,教育,种族,地理和政治隶属关系)。加权是总结调整的一种方式:样本中的每个项目都有非负权重,该权重与人口中的代表成正比。人口估计。经典的调查权重出现了四个困难:重量,不确定性估计,小区域估计和回归建模。重量的构造很困难,因为现实世界调查需要针对许多因素进行调整,并且基于延伸后或采样估计概率的简单方法通常会导致高度嘈杂的权重。噪声较高的权重导致加权估计的效率损失:权重中存在的可变性越多,加权调查估计的效率就越小(Korn and Graubard,1999)。This in turn motivates more complicated approaches based on smoothing or modeling the weights, which can be done but at the cost of many choices in modeling and estimation (Little, 1991; Gelman and Little, 1998; Elliott and Little, 2000; Little and Vartivarian, 2003; Chen et al., 2006; Gelman, 2007; Chen et al., 2012, 2017; Xie et al., 2020; Si et al., 2020; Ben-Michael等人,2024年)。
范围。过去十年中持续的深度学习革命带来了在各种数据集中受过培训的数亿个神经网络(NNS)。同时,最近的基础模型的兴起导致公开可用的神经网络模型数量迅速增加。单独拥抱面孔,有超过一百万个型号,每天增加数千个型号。结果,数据中包含的丰富知识,通过培训学到的抽象以及受过训练的模型的行为本身存储在训练有素的NNS的架构和参数中。尽管这种大量增长,但对处理模型权重的研究很少,很少被认为是数据模式。该研讨会旨在通过将已经与模型权重相互作用的分散的子社区汇集在一起,以建立一个围绕体重空间学习的社区,并将民主化模型权重作为适当的数据方式进行民主化。