Momentum Approximation in Asynchronous Private Federated Learning
这篇论文被接受在与 NeurIPS 2024 联合举办的联邦基础模型国际研讨会 (FL@FM-NeurIPS'24) 上发表。异步协议已被证明可以提高具有大量客户端的联邦学习 (FL) 的可扩展性。同时，基于动量的方法可以在同步 FL 中实现最佳模型质量。然而，在异步 FL 算法中天真地应用动量会导致收敛速度变慢和模型性能下降。目前还不清楚如何有效地将这两种技术结合在一起以实现双赢……
Key Market Indicators For November 2024
2024 年 11 月的关键市场指标由 Lance Roberts 通过 RealInvestmentAdvice.com 撰写，2024 年 11 月的关键市场指标为交易者和投资者提供了一个复杂但充满机遇的环境。在美联储第一阶段降息和全球不确定性不断增加之后，技术格局表明出现了一些值得关注的变化。让我们探索值得关注的关键市场指标。注意：如果您不熟悉基本的技术分析，本视频是一个简短的教程。季节性和突破模式正如最近讨论的那样，季节性是 11 月的一个关键市场趋势。从历史上看，股市从较弱的夏季过渡到更强劲的年底反弹，通常被称为“圣诞老人反弹”，从 12 月中旬开始。从连续 6 个月来看，11 月至
Reinforcement Learning for Physics: ODEs and Hyperparameter Tuning
使用 gymnasium 控制微分方程并优化算法超参数照片由 Brice Cooper 在 Unsplash 上拍摄如前所述，强化学习 (RL) 提供了一种强大的新工具来应对控制非线性物理系统的挑战。非线性物理系统的特点是行为复杂，输入的微小变化可能导致输出的剧烈变化，或者只有微小的输出变化可能来自大输入。解决方案可以分裂，相同条件可以产生不同的输出，甚至以路径依赖的形式具有“记忆”。我们介绍了两种将 RL 应用于非线性物理系统的不同方法：传统的基于神经网络的软演员评论家 (SAC) 和不常见的基于遗传算法的遗传编程 (GP) 方法。简而言之，SAC 使用两个神经网络，一个用于学习环境的行为方
IEEE Transactions on Artificial Intelligence, Volume 5, Issue 9, September 2024
1) 社论：从可解释的人工智能 (xAI) 到可理解的人工智能 (uAI)作者：Hussein Abbass、Keeley Crockett、Jonathan Garibaldi、Alexander Gegov、Uzay Kaymak、Joao Miguel C. Sousa页数：4310 - 43142) 通过部分图卷积网络进行不完全图学习作者：Ziyan Zhang、Bo Jiang、Jin Tang、Jinhui Tang、Bin Luo页数：4315 - 43213) 用于社会公益的对抗性机器学习：将对手重新定义为盟友作者：Shawqi Al-Maliki、Adnan Qayyum、H
Reinforcement Learning, Part 8: Feature State Construction
通过将状态特征巧妙地纳入学习目标来增强线性方法强化学习是机器学习的一个领域，它引入了代理在复杂环境中学习最佳策略的概念。代理根据环境状态从其行为中学习，从而获得奖励。强化学习是一个具有挑战性的话题，与机器学习的其他领域有很大不同。强化学习的显著之处在于，可以使用相同的算法使代理适应完全不同、未知和复杂的条件。关于本文在第 7 部分中，我们介绍了可扩展标准表格方法的值函数近似算法。除此之外，我们特别关注了一个非常重要的情况，即近似值函数是线性的。我们发现，线性保证了收敛到全局最优值或 TD 不动点（在半梯度方法中）。问题是，有时我们可能希望使用更复杂的近似值函数，而不仅仅是简单的标量积，而不离开
《华尔街日报》报道称，中国是全球奢侈品购买成本最高的主要市场，加价幅度最高。当价格差异变得非常大时，不仅套利者会进入，而且整个套利行业将会出现。中国的代购贸易，大致翻译为“代买”，是一个价值 810 亿美元的行业，专门从事从欧洲奢侈品到韩国化妆品，甚至高科技日本马桶座等各种商品的平行进口。地区价格和税收差异使得在中国以外购买某些商品更便宜，从而创造了套利机会。这种情况可能不可持续。虽然其他地区的股价正在飙升，“但欧洲的奢侈品股票今年平均下跌了 24%。”除非能够阻止这种套利漏洞，否则跨国价格差异可能会收敛。
摘要：在过去的几十年里，高性能计算的进步使得相位解析的 Boussinesq 型数值波浪模型在处理近岸沿海波浪过程方面更加实用。因此，开源 FUNWAVE-TVD 数值波浪模型在所有以科学和工程为重点的研发组织中变得越来越普遍，包括学术、政府和行业合作伙伴。与美国陆军工程研究与发展中心、海岸和水力学实验室、特拉华大学和 HR Wallingford 合作，开发了一个强大的测试平台，允许用户根据模型的新版本对其应用程序进行基准测试。这里介绍的测试平台包括分析、实验室和现场案例，为 FUNWAVE-TVD 的操作效用提供指导，并检查在近岸风波应用中模拟波浪生成、传播、波浪破碎和移动海岸线的数值收敛
On the Minimal Degree Bias in Generalization on the Unseen for non-Boolean Functions
我们研究了随机特征 (RF) 模型和 Transformer 的域外泛化。我们首先证明，在“在看不见的 (GOTU) 上泛化”设置中，训练数据在域的某些部分完全可见，但在另一部分进行测试，对于小特征范围内的 RF 模型，收敛发生在最小程度的插值器上，就像布尔情况一样 (Abbe 等人，2023)。然后，我们考虑稀疏目标范围，并解释该范围与小特征范围的关系，但使用不同的正则化项，可以改变图片……
Catasetum krahlii D.R.P.Krahl、Cantuária、J.B.F.Silva 和 Chiron，载于 Krahl、Oliveira、Silva、Chiron 和 Cantuária，2023 年。DOI：10.1590/1677-941X-ABB-2022-0258 Researchgate.net/publication/372978737 摘要在本研究中，我们提出了一种新的 Catasetum 分类单元，属于具有对称和聚合触角的物种群。它是在巴西亚马逊中部的“terra firme”和“campinarana”植被中发现的。给出了该分类单元的详细描述以及照片板和与
Principal Components Analysis (PCA) Through a Latent Variable Lens
概述 PPCA（经典 PCA 的扩展）及其通过 EM 算法应用于不完整数据照片由 Dhruv Weaver 在 Unsplash 上拍摄。随着 EM 算法的 E 和 M 步骤重复，该算法收敛到局部最大似然估计量。概率主成分分析 (PPCA) 是一种降维技术，利用潜在变量框架恢复数据中最大方差的方向。当噪声遵循各向同性高斯分布时，概率主成分将与经典主成分紧密相关，在缩放因子和正交旋转方面相同。因此，PPCA 可用于许多与经典 PCA 相同的应用，例如数据可视化和特征提取。PPCA 背后的潜在变量框架还提供了经典 PCA 所不具备的功能。例如，PPCA 可以轻松扩展以适应具有缺失值的数据，而经典
摘要：马尔可夫链蒙特卡罗 (MCMC) 方法广泛应用于水文学和其他领域，用于贝叶斯框架中的后验推理。正确构造的 MCMC 采样器可以保证收敛到正确的极限分布，但收敛可能非常慢。虽然大多数研究的重点是改进用于在马尔可夫链中生成试验移动的提案分布，但这项工作的重点是有效地为基于群体的 MCMC 采样器找到初始群体，以加速收敛。四个案例研究，包括两个水文模型，被用来证明使用多级单链接隐式过滤随机全局优化来初始化种群，既降低了总体计算成本，又显着增加了在约束条件下找到正确极限分布的机会。固定的计算预算。
Vladimir Vapnik: Predicates, Invariants, and the Essence of Intelligence
Vladimir Vapnik 是支持向量机、支持向量聚类、VC 理论和统计学习中许多基础思想的共同发明者。他出生于苏联，曾在莫斯科控制科学研究所工作，后来在美国工作，在 AT&T、NEC 实验室、Facebook AI 研究中心工作，现在是哥伦比亚大学的教授。他的作品已被引用超过 200,000 次。此对话是人工智能播客的一部分。如果您想获取有关此播客的更多信息，请访问 https://lexfridman.com/ai 或在 Twitter、LinkedIn、Facebook、Medium 或 YouTube 上与 @lexfridman 联系，您可以在其中观看这些对话的视频版本。如果您喜
Optimization Algorithms for Machine Learning
我一直在 Coursera 上学习 Andrew Ng 的深度学习专项课程。我已经完成了该专项课程 5 门课程中的第 1 门（神经网络和深度学习）。我正在学习第 2 门课程，即改进深度学习。这是一门非常有趣的课程，深入探讨了超参数调整、正则化和优化技术。1. 什么是优化算法？它们使您能够更快地训练神经网络，因为应用机器学习是一个非常经验的过程，这些算法有助于有效地达到优化结果。让我们开始研究具有更复杂版本的梯度下降的优化算法。1.1 批量与小批量梯度下降一般来说，梯度下降会遍历整个训练示例集（#m），并向全局最小值迈出一步。这也称为批量梯度下降。这有点低效，因为它要求我们先遍历所有训练示例，然
