Momentum Approximation in Asynchronous Private Federated Learning
这篇论文被接受在与 NeurIPS 2024 联合举办的联邦基础模型国际研讨会 (FL@FM-NeurIPS'24) 上发表。异步协议已被证明可以提高具有大量客户端的联邦学习 (FL) 的可扩展性。同时，基于动量的方法可以在同步 FL 中实现最佳模型质量。然而，在异步 FL 算法中天真地应用动量会导致收敛速度变慢和模型性能下降。目前还不清楚如何有效地将这两种技术结合在一起以实现双赢……
Reinforcement Learning for Physics: ODEs and Hyperparameter Tuning
使用 gymnasium 控制微分方程并优化算法超参数照片由 Brice Cooper 在 Unsplash 上拍摄如前所述，强化学习 (RL) 提供了一种强大的新工具来应对控制非线性物理系统的挑战。非线性物理系统的特点是行为复杂，输入的微小变化可能导致输出的剧烈变化，或者只有微小的输出变化可能来自大输入。解决方案可以分裂，相同条件可以产生不同的输出，甚至以路径依赖的形式具有“记忆”。我们介绍了两种将 RL 应用于非线性物理系统的不同方法：传统的基于神经网络的软演员评论家 (SAC) 和不常见的基于遗传算法的遗传编程 (GP) 方法。简而言之，SAC 使用两个神经网络，一个用于学习环境的行为方
Optimization Algorithms for Machine Learning
我一直在 Coursera 上学习 Andrew Ng 的深度学习专项课程。我已经完成了该专项课程 5 门课程中的第 1 门（神经网络和深度学习）。我正在学习第 2 门课程，即改进深度学习。这是一门非常有趣的课程，深入探讨了超参数调整、正则化和优化技术。1. 什么是优化算法？它们使您能够更快地训练神经网络，因为应用机器学习是一个非常经验的过程，这些算法有助于有效地达到优化结果。让我们开始研究具有更复杂版本的梯度下降的优化算法。1.1 批量与小批量梯度下降一般来说，梯度下降会遍历整个训练示例集（#m），并向全局最小值迈出一步。这也称为批量梯度下降。这有点低效，因为它要求我们先遍历所有训练示例，然
