详细内容或原文请订阅后点击阅览
LLM 主题不是观察
一位从业者对因果分析中生成变量的警告LLM 后的主题不是观察结果首先出现在《走向数据科学》上。
来源:走向数据科学主题从呼叫语料库到客户表。没有成绩单的客户将获得 NULL。 NULL 被填充为零，或者“没有提到问题”，或者作为参考类别悄悄地被忽略。在一系列预处理中，管道转换者没有呼叫支持，也没有经历计费挫折。
接下来的回归看起来很干净。 “计费挫折”的系数很大，按照产品团队预期的方式签署，大到足以产生影响。它被粘贴到路线图文档中。没有人问变量从哪里来。
本文介绍的是通过该填充值偷偷带入的内容，以及其他三个在笔记本中看起来无害但基于分析从未提及的假设的移动。该设置并非特定于支持呼叫。它适用于聊天日志、票证摘要、产品评论、销售记录和调查自由回答字段，以及现代管道将文本转换为整洁专栏的任何地方。该管道可以是微调分类器、零样本 LLM 或嵌入加集群。概念问题是相同的：该列不是对客户属性的观察。它是应用于客户行为的自选子集的生成过程的输出。
从业者越来越多地将此类输出视为客户状态的直接读取。他们不是。它们是生成的变量：由管道生成的测量值，以客户执行留下文本痕迹的操作为条件，以该痕迹在提取模型中幸存下来为条件。该条件的每一步都会对变量在下游因果模型中的含义产生影响，并且大多数这些影响在连接表中是不可见的。
有四件事容易出错，而 NULL 移动使所有四件事同时可见。
问题不在于管道产生了错误的标签。问题在于标签继承了下游分析从未建模的数据生成过程。