XiaoMi-AI文件搜索系统
World File Search System随机梯
连续的随机梯度方法：第二部分
摘要在此贡献中，我们提供了对连续的梯度（CSG）方法的数值分析，包括来自拓扑优化和收敛速率的应用。与标准随机梯度优化方案相反，CSG不会从以前的迭代中丢弃旧梯度样品。相反，计算了依赖设计的集成权重以形成凸组合，以作为与当前设计下真正梯度的近似值。随着近似误差在迭代过程中消失，CSG代表了一种混合方法，就像纯粹随机方法一样开始，并且在极限中像完整的梯度方案一样行事。在这项工作中，CSG的效率是针对拓扑优化的实际相关应用的。这些设置的特征是大量的优化变量和一个目标函数，其评估需要以非线性方式串联的多个积分的数值计算。以前无法通过任何现有的优化方法解决此类问题。最后，关于收敛速率，提供了第一个估计值并在数值实验的帮助下确认。
连续的随机梯度方法：第I部分
摘要在此贡献中，我们介绍了连续随机级别（CSG）方法的完整概述，包括收敛结果，步长规则和算法见解。我们考虑了目标函数需要某种形式集成的优化问题，例如预期值。由于通过固定的正交规则近似近似集成可以将人工局部解决方案引入问题，同时同时提高计算工作，因此在这种情况下，随机优化方案变得越来越流行。但是，已知的随机梯度类型方法通常仅限于预期的风险功能，并且本质上需要许多迭代。后者特别有问题，如果评估成本函数涉及求解多个状态方程，例如，以部分差异方程的形式给出。为了克服这些缺点，最近的一篇文章介绍了CSG方法，该方法通过计算依赖设计的集成权重的旧梯度样本信息重复了旧的梯度样本信息，以获得与完整梯度的更好近似值。在原始的CSG纸张收敛中是为了减小的步长而建立的，但在这里，我们提供了CSG的完整收敛分析，用于恒定步长和Armijo-type线路搜索。此外，提出了获得集成权重的新方法，将CSG的应用范围扩展到涉及较高维积分和分布式数据的问题。