近年来,基于GPT的AI模型已迅速发展。这些模型能够生成文本,在不同语言之间翻译和以高度准确地回答问题。但是,输出背后的过程仍然是黑匣子,因此很难确定影响其响应的数据。这些AI模型并不总是会产生策略输出,并且以产生不正确的信息(称为幻觉)而闻名,其原因很难确定。此外,尽管采取了各种改进,例如诸如链条的方法,他们仍然在解决需要逐步推理的复杂问题方面面临挑战。不能保证这些模型可以从头开始独立执行逻辑推理,从而引起对其影响的可靠性和准确性的疑问。为了解决这些问题,本研究提出将明确的逻辑结构纳入AI的文本生成过程。作为一个验证实验,是一种基于文本的代理,能够玩狼人游戏,需要演绎推理,是使用GPT-4开发的。通过比较与外部显式逻辑结构和缺乏这种结构的基线的模型进行比较,提出的方法在主观评估中表现出了出色的结构能力,这表明将逻辑框架添加到常规AI模型中的有效性。
用大语言模型(LLM)构建的代理在广泛的领域中显示出巨大的潜力。然而,在复杂的决策任务中,纯LLM的代理在选择动作时倾向于表现出偏见,这是从模型的训练数据中获得的,并导致了次优性能。要开发战略语言代理,即产生灵活的语言行动并具有强大决策能力的代理人,我们提出了一个新颖的框架,该框架可以用LLM的代理使用加强学习(RL)。我们认为沃尔夫(Waywolf)是一种流行的社交推论游戏,是一个充满挑战的测试台,强调多功能沟通和战略性游戏。为了减轻语言动作中的内在偏见,我们的代理人使用LLM执行演绎推理并生成一组候选行动。然后,一项训练有素的RL政策,以优化决策能力,从候选人中选择在游戏中玩的行动。广泛的实验表明,我们的代理商克服了狼人游戏中的内在偏见和胜过现有的基于LLM的代理商。我们还进行人类代理实验,发现我们的代理人达到了人类水平的表现并表现出强大的战略性发挥。
他比村民们强壮。相比之下,狼人在游戏开始时就可以了解自己的同伴狼人。狼人的基本策略是与其他狼人合作,有时还会撒谎,以避免被发现是狼人。虽然狼人杀被认为是一种欺骗其他玩家的游戏,但它同时也是一种用逻辑的方式解释自己的论点,并说服周围人的游戏 [1]。 2.1.1 游戏流程 游戏由白天和夜晚两个阶段组成,每个阶段重复进行,直至游戏结束。 在白天阶段,所有玩家都会进行讨论,基本上村民阵营会试图找出狼人是谁,而狼人阵营会试图撒谎,这样就没有人知道狼人是谁了。具有特殊能力的村民阵营角色(稍后会介绍)会利用他们通过能力获得的信息,采取有利于自己一方的行动。由于狼人阵营在这里不采取任何行动很可能会失败,所以他们在这个阶段经常会假装成具有特殊能力的村民阵营成员。 白天阶段结束后,投票开始,玩家驱逐任何他们怀疑是狼人的人。被驱逐的玩家将被退出游戏,并且不能参与投票或讨论。 在夜间,具有特殊能力的村民使用它们(参见下面的角色描述)来找出谁是狼人。狼人可以选择一名非狼人玩家进行攻击。受到攻击的玩家将被视为死亡并被淘汰出局,就像被投票淘汰的玩家一样。[2] 2.1.2 职位名称 在这里,我们解释一下本研究中使用的职位名称。 (1)村民:属于村民阵营。他们不具备其他角色同样的能力,需要关注和考虑他人的行为而不是自己的行为。当狼人游戏是由人类而不是人工智能进行时,村民可能会选择错误地承担算命先生之类的角色,但这不包含在这里使用的代理中,所以我们在这里就不详细讨论了。 (2)算命师:属于村民阵营。在夜间阶段,您可以瞄准一名玩家,并查明该人是狼人还是人类。这里需要注意的是,叛徒是人类,但属于狼人阵营(后面会介绍),而普通村民则无法区分他们。不过能够区分狼人和人类,对于村民阵营来说却是一个很大的优势,所以这对于村民阵营和狼人阵营来说都是一个尤为重要的角色。 (3)叛徒:属于狼人阵营。然而狼人是谁?