XiaoMi-AI文件搜索系统
World File Search SystemSoBP
大型语言模型的结构化最优脑修剪
海量的参数和计算需求阻碍了大型语言模型 (LLM) 的广泛应用。网络剪枝为该问题提供了一个实用的解决方案。然而，现有的 LLM 剪枝工作主要集中于非结构化剪枝或需要剪枝后微调。前者依靠特殊硬件来加速计算，而后者可能需要大量的计算资源。在本文中，我们介绍了一种无需再训练的结构化剪枝方法，称为 SoBP ( S structured O ptimal Brain P runing)。它利用全局一阶信息来选择剪枝结构，然后用局部贪婪方法对其进行细化，最后采用模块重构来减少信息丢失。我们在 8 个不同的数据集上对来自 3 个 LLM 系列的 14 个模型的有效性进行了评估。实验结果表明 SoBP 优于当前最先进的方法。
Curriculum Vitae: Junhao (Hao) Wen 1 - LABS
2025 年 OHBM 2025 研讨会联合组织者和主持人，我们的会议主题为：“揭示不同规模、系统和疾病中的大脑异质性”。2025 年 SOBP 2025 研讨会主持人，我们的工作主题为：“普通人群四种脑部疾病中九个 AI 维度的神经解剖学异质性和相似性”。2025 年哥伦比亚 BME 教员讲座：“大规模建模人类衰老和疾病：AI/ML、成像、遗传学及其他”。2025 年哥伦比亚大学研讨会（老龄化研究的未来）：“MULTI：大规模研究人类衰老和疾病”。2025 年哥伦比亚扎克曼研究所研讨会：“MULTI：通过 AI/ML、成像、遗传学和其他技术大规模研究大脑衰老和疾病”。2025 年 NYGC 教员研讨会：“大规模建模人类衰老和疾病：成像、遗传学及其他”。 2024 应邀在转化神经影像学教育计划的在线网络研讨会上发表演讲，主题为：“多器官生物年龄揭示人类衰老、疾病和生活方式因素之间的因果关系”。2024 应邀在年度 ISTAART、AAIC 期刊俱乐部发表我们的《自然医学》论文：“49,482 名个体组成的大型多样化群体中的大脑衰老模式”；与杨志坚博士共同出席。