一个好的数学美理论比任何当前的观察都更实用,因为关于物理现实的新预测可以自洽地得到验证。这种信念适用于理解深度神经网络的现状,包括大型语言模型甚至生物智能。玩具模型提供了物理现实的隐喻,允许以数学形式表达现实(即所谓的理论),随着更多猜想得到证实或反驳,该理论可以得到更新。人们不需要在模型中呈现所有细节,而是构建更抽象的模型,因为大脑或深度网络等复杂系统有许多松散的维度,但对宏观可观测量产生强烈影响的僵硬维度要少得多。这种自下而上的机械建模在理解自然或人工智能的现代时代仍然很有前途。在这里,我们阐明了按照这一理论范式发展智能理论的八个挑战。这些挑战是表示学习、泛化、对抗鲁棒性、持续学习、因果学习、大脑内部模型、下一个标记预测和主观经验机制。
主要关键词