详细内容或原文请订阅后点击阅览

启用私人联合学习以进行语音识别：基准，自适应优化器和梯度剪裁

2025年7月13日 05:55 33 Comments
X Twitter Instagram Mail

虽然已经对联邦学习（FL）和差异隐私（DP）进行了广泛的研究，但由于训练大型变压器模型的挑战，它们在自动语音识别（ASR）中的应用仍未得到探索。具体而言，大型模型进一步加剧了FL中的问题，因为它们特别容易受到各个层的梯度异质性的影响，这与在浅层模型中观察到的相对均匀的梯度行为不同。结果，即使在没有DP机制的情况下，先前的工作也很难融合标准优化技术。据我们所知……

来源:Apple机器学习研究