当今语言模型的一个挑战是，它们是如此之大，并且对如此大量的文本进行了训练，以至于无法完全了解它们的工作方式以及为什么得到某个答案。他们的技能中最大的部分从SO称为自我监视的培训中接收模型：他们没有接受培训以回答问题，而是在文本中预测下一个单词（或文本中缺少的任何单词），并了解哪些信息对于解决概念上的简单任务很重要。自我监控培训已被证明对模型获得有关语言学和事实的知识是有效的，但是确切了解该模型获得了什么知识和特征并不是很小的。但是，这样的理解对于改善模型并评估它们何时可靠，并且可以良心使用。