XiaoMi-AI文件搜索系统
World File Search System次梯度
非Convex Minimax优化的两次梯度梯度下降算法
We provide a unified analysis of two-timescale gradient descent ascent (TTGDA) for solving structured nonconvex minimax optimization problems in the form of min x max y ∈Y f ( x , y ), where the objective function f ( x , y ) is nonconvex in x and concave in y , and the constraint set Y ⊆ R n is convex and bounded.在凸 - 孔循环设置中，单次梯度下降（GDA）算法被广泛用于应用中，并且已被证明具有强大的收敛保证。在更一般的设置中，它可能无法收敛。我们的贡献是设计ttgda算法，这些算法是有效的，这些算法超出了凸形 - 连接设置，并有效地确定了函数φ（·）的固定点：= maxy∈Yf（·f（·，y）。我们还建立了解决求解平滑和非平滑concove-concave minimax优化问题的复杂性的理论界限。据我们所知，这是对非凸端优化的TTGDA的第一个系统分析，阐明了其在训练生成的对抗网络（GAN）和其他现实世界应用问题中的卓越性能。关键字：结构化的非凸极最小值优化，两次尺度梯度下降，迭代复杂度分析
哺乳动物前脑中多个时间尺度的层次梯度
皮质回路的许多解剖和生理特征，从突触的生物物理特性到不同神经元类型之间的连接模式，都表现出从感觉区域到联想区域的层级轴的一致变化。值得注意的是，静息状态下神经活动的时间相关性尺度（称为内在时间尺度）在灵长类动物和啮齿动物中都沿着这一层级系统地增加，类似于空间受体场的规模和复杂性不断增加。然而，任务相关活动的时间尺度如何在大脑区域间变化，以及它们的层级组织是否在不同哺乳动物物种中一致出现仍未得到探索。在这里，我们表明，内在时间尺度和任务相关活动的时间尺度在猴子、大鼠和小鼠的皮质中都遵循类似的层级梯度。我们还发现，这些时间尺度在皮层和基底神经节中以类似的方式共同变化，而丘脑活动的时间尺度比皮层时间尺度短，并且不符合其皮层投影预测的层次顺序。这些结果表明，皮层时间尺度的层次梯度可能是哺乳动物大脑皮层内回路的普遍特征。