详细内容或原文请订阅后点击阅览
RepCNN：用于唤醒词检测的微型、强大的模型
始终在线的机器学习模型需要非常低的内存和计算占用空间。它们的受限参数数量限制了模型的学习能力，以及通常的训练算法找到最佳参数的有效性。在这里，我们展示了通过首先将其计算重构为更大的冗余多分支架构，可以更好地训练小型卷积模型。然后，为了进行推理，我们代数地将训练后的模型重新参数化为具有更少参数的单分支形式，以降低内存占用和计算成本。使用这种技术，我们展示了……
来源:Apple机器学习研究始终在机器学习模型中需要非常低的内存和计算足迹。他们的限制参数计数限制了模型学习能力，以及通常的培训算法找到最佳参数的有效性。在这里，我们表明，小型卷积模型可以通过首先将其计算重构为较大的冗余多分支体系结构来更好地训练。然后，为了进行推断，我们将训练的模型重新分配给单分支形式，该模型的参数较少，以减少内存足迹和计算成本。使用此技术，我们表明我们始终在线的唤醒探测器模型Repcnn在推理过程中提供了延迟和准确性之间的良好权衡。在具有相同运行时，REPCNN重新参数化模型的准确性比单分支卷积模型高43％。 REPCNN还符合BC-Resnet等复杂体系结构的准确性，而峰值内存使用率则少2倍，并且运行时的准确性降低了10倍。