Transfer Learning for Structured Pruning under Limited Task Data
这篇论文被 NeurIPS 的高效自然语言和语音处理 (ENLSP-III) 研讨会接受。大型预训练模型在资源受限的应用程序中使用存在问题。幸运的是，任务感知的结构化修剪方法提供了一种解决方案。这些方法通过以考虑最终任务的方式删除层和注意力头等结构单元来减小模型大小。然而，这些剪枝算法需要比通常可用的更多特定于任务的数据。我们提出了一个将结构化剪枝与迁移学习相结合的框架，以减少…
IEEE Transactions on Emerging Topics in Computational Intelligence, Volume 8, Number 5, October 2024
1) 资源可持续计算和人工智能特邀编辑特刊作者：Joey Tianyi Zhou, Ivor W. Tsang, Yew Soon Ong页数：3196 - 31982) 具有社会参与的电网运输系统的协调网络安全增强作者：Pengfei Zhao, Shuangqi Li, Paul Jen-Hwa Hu, Zhidong Cao, Chenghong Gu, Da Xie, Daniel Dajun Zeng页数：3199 - 32133) 用于可持续压缩感知的轻量级循环学习网络作者：Yu Zhou, Yu Chen, Xiao Zhang, Pan Lai, Lei Huang, Jian
