1。基础模型的数学原理：我开发了一个连贯的作品，该作品建立了理论基础，即覆盖概括，训练动力学和可识别性分析，用于基础模型的一系列自我监督学习（SSL）范式。这些包括自动锻炼[30]，重建性[12，22]，对比度[4，6]，非对抗性[14]，预测[11]接近，在图理论框架中，我将它们统一并表征它们。对于诸如变形金刚之类的骨干网络，我提出了有关其特征传播的动态分析[2，19，16，29]。从内在的学习角度来看，我率先提出了LLMS自校正能力的第一个理论解释（对于OpenAI O1中的测试时间推理至关重要），并在ICML'24 ICL研讨会上赢得了最佳纸张奖。