摘要：数学优化在机器学习中起着基本作用，因为该领域的许多问题可以作为优化问题提出。在本演讲中，我们将探索机器学习中优化的数学基础，并在该学科的各个子场中讨论其应用。从凸优化的基本概念开始，我们将讨论如何使用优化技术来培训受监督和无监督学习的模型以及深度学习。由于参数空间的高维和优化问题的非凸度，深度神经网络的优化是具有挑战性的。我们还将研究更高级的优化方法，例如随机梯度下降及其变体，并检查它们在处理大规模和非凸优化问题方面的有效性。通过这次演讲，与会者将对优化如何推动机器学习进度及其未来研究的潜力有更深入的了解。