详细内容或原文请订阅后点击阅览
为什么正规化不足：一种更好的方法来培训两个目标的神经网络
为什么要分解目标和模型可能是在深度学习中进行更好绩效和更清晰的权衡取舍的关键。为什么正规化不足：训练具有两个目标的神经网络的更好方法首先出现在数据科学方面。
来源:走向数据科学神经网络，我们经常会兼顾两个相互竞争的目标。 例如，最大化预测性能，同时还达到公平，解释性或能源效率等次要目标。默认方法通常是将次要目标折叠为损耗函数，作为加权正则化项。这种千篇一律的损失可能很容易实施，但并不总是理想的。实际上，研究表明，仅添加正规化术语可以忽略目标之间的复杂相互依赖性，并导致次优折衷。
两个相互竞争的目标。 默认方法 单身型损失 仅添加正规化术语可以忽略目标之间的复杂相互依赖性，并导致次优折衷输入二杆优化，该策略将问题视为两个链接的子问题（领导者和一个追随者），而不是单个混合目标。在这篇文章中，我们将探讨为什么幼稚的正则化方法在多目标问题上可能会缩短，以及每个目标具有专用模型组件的双重配方如何显着提高实践中的清晰度和收敛性。我们将使用超出公平性的示例（例如生物信息学和机器人技术中的特定于域的约束）来说明这一点。我们还将从开源Fairbinn项目中深入研究一些实际的代码片段，该项目使用双重战略来实现公平性与准确性，并讨论原始论文的实际考虑因素，包括其在可伸缩性，连续性假设的限制，以及基于注意的模型的挑战。
双杆优化 实际代码片段 Fairbinn tl; dr：两目标困境：为什么加权正则化跌落
多目标学习 - 假设您想要高准确性和低偏见通常是单一损失：
和 拉格朗日方法 几个陷阱 选择权衡很棘手： 冲突梯度： 不适当地折衷