概率多变量推理:将流利的 LLM 答案转化为加权选项

人类引导的 AI 协作概率多变量推理:将流畅的 LLM 答案转化为加权选项一文首先出现在《走向数据科学》上。

来源:走向数据科学

人们在工作中使用生成式人工智能,有一种模式经常重复,感觉就像情景喜剧重播。

有人需要做出真正的决定:发布哪种模型、部署哪种架构、推出哪种策略。他们打开他们最喜欢的法学硕士,输入一个提示,浏览答案的合理性,也许调整提示一两次,然后将“最好看”的解决方案复制到文档中。

六个月后,当出现问题或表现不佳时,没有明确的记录说明考虑了哪些替代方案、团队实际上有多不确定,或者为什么他们选择了这条道路而不是其他道路。曾经有一个流畅的段落让人感觉很有说服力。

缺少的并不是更多的“人工智能力量”。这是人类明确推理的习惯。

在这篇文章中,我想命名并解开我在法学硕士和复杂系统工作中一直使用和教授的一个习惯。我称之为概率多变量推理(PMR)。它不是数学的新分支,当然也不是算法。相反,可以将其视为人类使用生成模型的一种实用的应用推理模式:一种有纪律的方式来呈现多种可能的未来,标记你的不确定性,考虑后果,然后再做出决定。

PMR 适合使用法学硕士来制定决策、设计系统或管理风险的人员。 GenAI 只是让这一切变得便宜且快速。该模式本身适用于在不确定性下必须选择的任何地方,即风险和约束实际上很重要的地方。

从答录机到场景生成器

大多数人使用 LLM 的默认方式是“单次、单一答案”。你提出一个问题,得到一个简洁的解释或设计,你的大脑会快速思考“这感觉聪明吗?”查看。

换句话说,你让模型扮演提案引擎的角色,而你自己则扮演决策者的角色。

数学存在的地方(以及为什么它处于后座)

一个很小的数字示例(不会吓跑任何人)

示例 1:数据科学团队中用于模型选择的 PMR