详细内容或原文请订阅后点击阅览
引导学习让“不可训练”的神经网络发挥其潜力
CSAIL 研究人员发现，即使是“无法训练”的神经网络，在使用其指导方法受到另一个网络内置偏差的指导时也能有效学习。
来源:MIT新闻 - 人工智能即使是长期被认为“无法训练”的网络，也可以通过一些帮助来有效地学习。麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员表明，神经网络之间的短暂对齐（他们称之为引导的方法）可以显着提高以前认为不适合现代任务的架构的性能。
他们的研究结果表明，许多所谓的“无效”网络可能只是从不太理想的起点开始，而短期指导可以将它们置于一个使网络更容易学习的位置。
该团队的引导方法的工作原理是鼓励目标网络在训练期间匹配引导网络的内部表示。与知识蒸馏等专注于模仿教师输出的传统方法不同，指导将结构性知识直接从一个网络转移到另一个网络。这意味着目标学习指南如何组织每一层内的信息，而不是简单地复制其行为。值得注意的是，即使未经训练的网络也包含可以转移的架构偏差，而训练有素的指南还可以传达学习的模式。
“我们发现这些结果非常令人惊讶，”麻省理工学院电气工程和计算机科学系 (EECS) 博士生、CSAIL 研究员 Vighnesh Subramaniam '23、MEng '24 说道，他是介绍这些发现的论文的主要作者。 “令人印象深刻的是，我们可以利用表征相似性来使这些传统上‘蹩脚’的网络真正发挥作用。”
引导天使
拯救绝望的人
他们的工作最近在神经信息处理系统 (NeurIPS) 会议和研讨会上进行了展示。