LaCy: What Small Language Models Can and Should Learn is Not Just a Question of Loss
本文在 ICLR 基于 LLM 的代理系统内存研讨会上被接受。语言模型不断发展，将更多的世界知识压缩到其参数中，但可以预训练到其中的知识受到其参数大小的上限。特别是小语言模型（SLM）的容量是有限的，导致实际上不正确的生成。这个问题通常可以通过让 SLM 访问外部源来缓解：查询更大模型、文档或数据库的能力。在此背景下，我们研究的根本问题是……
