1。基础模型的数学原理:我开发了一个连贯的作品,该作品建立了理论基础,即覆盖概括,训练动力学和可识别性分析,用于基础模型的一系列自我监督学习(SSL)范式。这些包括自动锻炼[30],重建性[12,22],对比度[4,6],非对抗性[14],预测[11]接近,在图理论框架中,我将它们统一并表征它们。对于诸如变形金刚之类的骨干网络,我提出了有关其特征传播的动态分析[2,19,16,29]。从内在的学习角度来看,我率先提出了LLMS自校正能力的第一个理论解释(对于OpenAI O1中的测试时间推理至关重要),并在ICML'24 ICL研讨会上赢得了最佳纸张奖。
主要关键词