机构名称：
¥ 1.0
一个问题被称为“数据污染”。虽然我们假设参加标准化测试的人还没有看到问题和答案，但对于像 GPT-4 这样的大型人工智能系统来说，情况不一定如此，因为它已经在大量数字媒体上进行了训练，其中一些可能包括 GPT-4 后来测试的问题。尽管 OpenAI 拒绝描述用于训练系统的数据，但他们报告说，他们曾试图通过使用一种称为“子串匹配”的技术来避免这种数据污染，该技术搜索训练数据以查看其中是否包含给 GPT-4 的测试问题。但该方法没有考虑到非常相似但不完全匹配的情况。OpenAI 的方法在一项分析中被批评为“肤浅而草率”。同样的批评者指出，对于其中一个编码基准，GPT-4 在 2021 年之前发布的问题上的表现明显优于 2021-GPT-4 训练截止后发布的问题。这有力地表明，早期的问题出在 GPT-4 的训练数据中。OpenAI 的其他基准测试也有可能受到类似的污染。
我们如何知道人工智能系统的智能程度
主要关键词
相关文件推荐
