Momentum Approximation in Asynchronous Private Federated Learning
这篇论文被接受在与 NeurIPS 2024 联合举办的联邦基础模型国际研讨会 (FL@FM-NeurIPS'24) 上发表。异步协议已被证明可以提高具有大量客户端的联邦学习 (FL) 的可扩展性。同时,基于动量的方法可以在同步 FL 中实现最佳模型质量。然而,在异步 FL 算法中天真地应用动量会导致收敛速度变慢和模型性能下降。目前还不清楚如何有效地将这两种技术结合在一起以实现双赢……
Private Stochastic Convex Optimization with Heavy Tails: Near-Optimality from Simple Reductions
我们研究了具有重尾梯度的差分隐私随机凸优化 (DP-SCO) 问题,其中我们假设样本函数的 Lipschitz 常数上有 kthk^{\text{th}}kth 矩界限,而不是统一界限。我们提出了一种新的基于约简的方法,使我们能够在重尾设置中获得第一个最优利率(最多对数因子),在 (ε,δ)(\varepsilon, \delta)(ε,δ)-近似下实现误差 G2⋅1n+Gk⋅(dnε)1−1kG_2 \cdot \frac 1 {\sqrt n} + G_k \cdot (\frac{\sqrt d}{n\varepsilon})^{1 - \frac 1 k}G2⋅n1+Gk⋅(n
Omnipredictors for Regression and the Approximate Rank of Convex Functions
考虑监督学习设置,其目标是学习根据分布中的点 x 预测标签 y。损失函数类 L 和假设类 C 的全能预测器是这样的预测器,对于 L 中的每个损失,其预测的预期损失小于 C 中的最佳假设。自从 [GKR+21] 的工作引入这一概念以来,在 y∈{0,1} 的二元标签设置中已经有大量工作,但对于 y∈[0,1] 可以是连续的回归设置,人们知之甚少。我们的主要概念贡献是充分的概念……
Lately It Seems That Nose Wheels Are Being Busted......
最近,似乎前轮被损坏了,就好像它们注定要被毁坏一样。在最近的一份 FAA 事故报告中,一个周末报告的“着陆时前轮被毁坏”次数不少于 6 次。哇,这需要一些努力。真正引起我注意的是,这种情况发生在六种不同的型号上,包括一款小型双引擎飞机。我想知道的是:如何
For readers who can’t hear enough about health reform
明天(星期日),我将在洛杉矶启发芝加哥SSA校友。我的活动部分是下午3-4点举行的。在JW Marriot Santa Monica Le Merigot 1740 Ocean Avenue Santa Monica,CA 90401咖啡厅Promenade/Santa Monica Room。然后,AcadeMyHealth的与会者可能希望参加在奥兰多举行的相关周一晚上的会议。我们[…]读者最初出现在偶然的经济学家上的读者的帖子。
黑暗潮汐:斯蒂芬·普洛洛(Stephen Puleo)的1919年波士顿大糖馆洪水是一个令人着迷的说法,您可以从字幕中分辨出来,不是吗?它本可以使用编辑器的另一个通行证,但否则是一个愉快而有趣的阅读。这是不小的事故,导致了最长的审判,最大的[…]糖蜜的死亡最初出现在偶然的经济学家身上。
Approximating Choice Data by Discrete Choice Models
张浩歌 (微软研究院) / Narita Yusuke (RIETI 访问研究员) / SAITO Kota (加州理工学院)
Fabulous time travel novel is part-thriller and part-romance
火星上的耶泽罗火山口附近似乎有一座火山,而毅力漫游者可能已经有了我们可以使用的样品,可以准确地约会另一个星球的火山的活动
Solving the two-body problem with high precision
国际研究人员预测了两个黑洞产生的重力波,其中相关的社论称为“具有里程碑意义的精度”。他们通过使用最初在粒子物理领域开发的技术来解决两体问题 - 查看如何通过重力相互作用的两个大型物体相互作用的相对运动。通过扰动理论,该理论始于解决问题的简单近似值,然后逐步解决更复杂的细节,团队产生的结果是一个高度精确的,分析性的解决方案。由于传统的预测这些相互作用的方式是昂贵且缓慢的,因此新方法为将来的观察和更准确的重力波模型铺平了道路。
Flavor symmetry of the high-energy world does not work as expected
在氩原子核的碰撞中,来自国际NA61/Shine实验的科学家观察到明显的异常表明违反了夸克世界上最重要的对称性之一:上下夸克之间的近似风味对称性。
随着统计分析对科学,工业和社会的核心越来越重要,因此越来越需要确保其结果的正确性。可以通过复制整个分析来验证近似正确性,但是我们可以在不复制的情况下验证吗?在最新工作的基础上,我们研究了允许概率验证者确定分析结果的证明系统近似正确,同时绘制较少的样本和使用较少的计算资源来复制分析所需的计算资源。我们专注于分发测试问题:验证…
The AdEMAMix Optimizer: Better, Faster, Older
基于动量的优化器对于广泛的机器学习应用是至关重要的。这些通常依赖于梯度的指数移动平均值(EMA),该梯度呈指数衰减的旧梯度的当前贡献。这说明梯度是局部线性近似,随着迭代沿损失格局的移动而失去相关性。这项工作质疑使用单个EMA来积累过去的梯度,并在经验上证明了该选择如何是最佳选择的:单个EMA不能同时给直接的过去带来高度的重量,而……
Ravjaa ishiii Okoshi, Takasaki, Chiba, Natori, Saneyoshi, Takahashi, Kodaira, Hayashi, Ishigaki, Mainbayar & Tsogtbaatar, 2025 DOI: doi.org/10.4202/app.01213.2024 x.com/_HETAKANumerous exquisitely preserved mammal从蒙古戈壁沙漠的上白垩统地层发掘出的化石在理解中生代哺乳动物进化方面发挥了关键作用。这些辉煌的哺乳动物化石主要是从巴鲁格戈特和djadokhta地层中回收的,但仅从下面的ba
Universally Instance-Optimal Mechanisms for Private Statistical Estimation
我们考虑了在差异隐私的约束下,实例 - 最佳统计估计的问题,机制必须适应输入数据集的难度。我们证明了使用新的差异来确定实例特定的下限,并证明它是局部统计估计的局部最小值最佳率。我们提出了两种新的机制,这些机制在实例上是最佳的,对于对数因素而言,对于一般估计问题而言。我们的第一感机理,总变化机制,建立在指数机制上,总近似值……
Distance between planets in the solar system calculator
您是否曾经想过木星离火星或金星距地球有多远?我们方便的计算器可以轻松找到!所有距离都是平均值和近似的,因为很难在如此大的距离上准确。行星的距离也不同,具体取决于它们在轨道上的位置。
Energy Imbalance Part II – An Addendum
,即使地球的大气比目前的大气更不透明(更大的光学深度),从表面辐射仍然会使它的途径向天空发展。光子将通过非常不透明的气氛“扩散”,就像热传导一样,除了与温度立方体成正比的“导热率”(Rosselund近似)。
Soft Computing. Volume 29, Issue 3, February 2025
1) Some new construction methods of similarity measure on picture fuzzy setsAuthor(s): Minxia Luo, Jianlei Gao, Wenling LiPages: 1273 - 12872) Arithmetic optimization algorithm with cosine transform-based two-dimensional composite chaotic mappingAuthor(s): Yi-Xuan Li, Jie-Sheng Wang, Xin-Ru MaPage
Soft Computing. Volume 29, Issue 2, January 2025
1)使用覆盖方法研究概念Latticesauthor(S):Guilong Liu,XIUWEI,GAOPAGES:425-4342)无用的Mappingsauthor的Picard -Cr迭代过程的收敛分析(S) :435-4553)动态行为和混乱控制均匀网络系统的冲突信息传播器的混乱控制:Ankur Jain,Joydip Dhar,Vijay K. Guptapages:457-4694)Rough setSauthor的环形结构:Arun Kumar,Arun Kumar,Bisham Dewanpages:471-481-488335)双向在线序列序列极限学习机和软传感器模型的切换策