多军匪徒的简单指南:加固学习之前的关键概念

AI如何学会做出更好的决策,以及为什么您应该关心探索与剥削,《多军匪徒的简单指南:强化学习之前的一个关键概念》首先出现在数据科学方面。

来源:走向数据科学

当它开始一无所知,只能通过反复试验学习时做出明智的选择?

这正是强化学习中最简单但最重要的模型之一是:

多军匪徒是一个简单的模型,用于通过反复试验学习。

就像我们一样。

我们将探讨为什么尝试新事物(探索)和坚持有效的东西(剥削)之间的决定比看起来要棘手。这与AI,在线广告和A/B测试有关。

Chatgpt 4o可视化。

为什么了解这个概念很重要?

多军匪徒介绍了增强学习的核心困境之一:如何在不确定性下做出良好的决定。

它不仅与AI,数据科学和行为模型有关,还因为它反映了我们人类通过反复试验的学习方式。

哪些机器通过反复试验学到的东西与人类直觉上的事情没有什么不同。

区别?

机器以数学优化的方式进行。

让我们想象一个简单的例子:

我们站在老虎机前。这台机器有10臂,这些武器中的每一个都有获胜的机会未知。

有些杠杆给出了更高的奖励,有些杠杆较低。

我们可以经常拉动杠杆,但我们的目标是尽可能赢。

这意味着我们必须找出哪个手臂是最好的(=最大的利润),而从一开始就知道哪个手臂。

模型非常让人联想到我们在日常生活中经常经历的事情:

我们测试了不同的策略。在某个时候,我们使用的是为我们带来最大乐趣,享受,金钱等的一种。

在行为心理学中,我们谈到了反复学习。

,或者我们还可以考虑认知心理学中的奖励学习:实验室实验中的动物随着时间的流逝而在哪种杠杆上发现食物,因为它们在该特定杠杆方面获得了最大的收益。

现在回到多臂匪徒的概念:

这个问题?

t