详细内容或原文请订阅后点击阅览
克劳德发现一个有“秘密想法”的工作空间
人类专家在研究他们的创意的工作原理后，发现了开发人员无意的东西。
来源:OSP网站大数据新闻Anthropic 决定弄清楚其聊天机器人 Claude 的“黑匣子”如何找到需要“思考”的问题的答案，例如“说出太阳第四颗行星的颜色”或“指出织网动物的腿的数量”。 Claude 神经网络由许多层组成，第一层将请求分解为标记，第二层提供答案中下一个单词的概率。在回答上述问题时，持续记录神经网络各层的状态，研究人员注意到，在某些中间层中，第一种情况出现“火星”一词，第二种情况出现“蜘蛛”。同时，最终答案中不包含任何一个。
人类专家将这种现象称为“空白工作空间”，并指出它的出现并不是 Claude 的创造者预见到的 - 它是训练的结果：它的执行方式是为了实现最大的准确性和响应速度，神经网络算法为自己提供了一个“临时缓冲区”，用于产生最终答案。
研究人员通过改变“缓冲区”的内容来测试这个假设。如果在回答上述问题时将“火星”替换为“地球”，那么神经网络将回答“蓝色”，如果您指定“蚂蚁”而不是“蜘蛛”，则答案将为6。