Winner takes all: A look at activations and cost functions
我们为什么要使用我们使用的激活，它们与它们往往同时出现的成本函数有何关系？在这篇文章中，我们提供了一个概念介绍。
Learning Elastic Costs to Shape Monge Displacements
给定一个由 Rd\mathbb{R}^dRd 支持的源和目标概率测量，Monge 问题旨在以最有效的方式将一个分布映射到另一个分布。这种效率通过定义源数据和目标数据之间的成本函数来量化。在机器学习文献中，这种成本通常默认设置为平方欧几里得距离，ℓ22(x,y)=12∥x−y∥22\ell^2_2(x,y)=\tfrac12\|x-y\|_2^2ℓ22(x,y)=21∥x−y∥22。使用弹性成本的好处，通过正则化器 τ\tauτ 定义为 c(x,y)=ℓ22(x,y)+τ(x−y)c(x, y)=\ell^2_2(x,y)+\tau(x-y)c(x,y)=ℓ22(x,y)+τ(x−y)，
#94 – Ilya Sutskever: Deep Learning
Ilya Sutskever 是 OpenAI 的联合创始人，是历史上被引用次数最多的计算机科学家之一，引用次数超过 165,000 次，对我来说，他是深度学习领域有史以来最聪明、最有洞察力的人之一。在这个世界上，很少有人比 Ilya 更愿意与我谈论深度学习、智能和生活，无论是在话筒上还是话筒下。通过注册以下赞助商来支持此播客：– Cash App – 使用代码“LexPodcast”并下载：– Cash App（App Store）：https://apple.co/2sPrUHe– Cash App（Google Play）：https://bit.ly/2MlvP5w 剧集链接：Ilya
