OpenAI的个性问题:为什么GPT-4O回滚(这是什么意思)

您很少会看到像Openai这样的公司承认错误,回滚一次重大更新,而不是发布一个,而是两个关于出了问题的深入邮政事票。但这正是最新的GPT-4O更新击中ChatGpt时发生的事情,并且用户发现自己正在与数字Yes-Yes-Man聊天。

来源:营销人工智能研究所
您很少会看到像Openai这样的公司承认错误,回滚一次重大更新,而不是发布一个,而是两个关于出了问题的深入邮政事票。但这正是当最新的GPT-4O更新击中ChatGpt时发生的事情,并且用户发现自己与数字Yess-Man聊天。上个月发生的GPT-4O的更新旨在改善该模型的个性和帮助。取而代之的是,它使Chatgpt过于愉快,过度讨人喜欢和令人震惊的负面情绪。该公司将这种行为描述为“ Sycophantic”,迅速引起了公众,新闻界甚至Openai首席执行官Sam Altman的注意,更重要的是,它对AI和我们如何使用该技术具有更大的影响。为了解开这些包装,我在人工智能节目的第146集中与Marketing AI Institute创始人兼首席执行官Paul Roetzer进行了交谈。出了什么问题 - FastThiT不仅仅是故障。这是一个成熟的模型行为故障,直接与OpenAI火车和微调模型有关。根据Openai,问题始于良好的意图。该公司希望通过更新系统提示和奖励信号来使GPT-4O更自然和情感上的智能。但是他们在短期用户反馈(例如大拇指评分)的情况下依靠不适当加权长期信任和安全指标。这是意想不到的结果?一个聊天机器人更像是一个笨拙的人,而不是一个有用的助手 - 太容易肯定,肯定了疑问,甚至加强了风险或冲动的想法。“这些模型很奇怪,” Roetzer说。 “他们无法编码。他们不是使用传统的计算机代码来明确地取得停止这样做的事情。他们必须使用人类语言来停止这样做。”模型行为背后的机制在异常透明的举动中,OpenAI分享了其培训系统的工作方式。培训后更新结合了监督的微调(人类教导模型的好方法