详细内容或原文请订阅后点击阅览
生成式 AI 会导致 AI 崩溃吗？
AI 自食其果：生成系统中模型崩溃的风险继续阅读 Towards Data Science »
来源:走向数据科学|LLM|生成式人工智能|模型崩溃|
生成式人工智能会导致人工智能崩溃吗？
生成式人工智能会导致人工智能崩溃吗？
人工智能自食其果：生成式系统中模型崩溃的风险
“文明死于自杀，而非谋杀。” — 阿诺德·汤因比
“文明死于自杀，而非谋杀。” — 阿诺德·汤因比
大型语言模型 (LLM) 通常以无监督的方式在大量文本上进行训练。这些文本是通过爬取互联网获得的。这些文本是由人类编写的，然而，事实可能很快就会发生变化。
大型语言模型 (LLM)从定义上讲，LLM 需要大量数据，而且所使用的数据集越来越大。根据缩放定律 [2]，要提高性能，必须同时增加参数数量和训练标记数量（后者被认为是最重要的因素）。
缩放定律这些数据集包含人类生成的数据，但是，一些研究表明，这是一种有限的资源。人类生成的数据规模也不如我们，因为我们通过 LLM 培训增加了数据消耗。一项研究……
通过 LLM 培训