评估多步骤 LLM 生成的内容:为什么客户旅程需要结构指标

如何评估旨在建立参与度和交付业务成果的以目标为导向的内容,以及为什么结构很重要。评估多步骤法学硕士生成的内容:为什么客户旅程需要结构指标首先出现在走向数据科学上。

来源:走向数据科学

生成看起来流畅且引人入胜的客户旅程,但评估这些旅程在结构上是否合理对于当前方法来说仍然具有挑战性。

本文介绍了连续性、深化和进展 (CDP) —   三个确定性的、基于内容结构的指标,用于使用预定义的分类法而不是风格判断来评估多步骤旅程。

传统上,优化客户参与系统涉及微调交付机制,例如时间、渠道和频率,以实现参与和业务成果。

在实践中,这意味着您训练模型来理解规则和偏好,例如“不要太频繁地联系客户”、“客户端 Alfa 对电话的响应更好”以及“客户端 Beta 大多在晚上打开电子邮件”。

为了管理这一点,您构建了一个冷静矩阵来平衡时间、渠道限制和管理客户沟通的业务规则。

到目前为止,一切顺利。交付机制得到优化。

此时,当法学硕士生成旅程本身时,核心挑战就出现了。问题不仅在于渠道或时间安排,还在于消息序列是否形成符合业务目标的连贯、有效的叙述。

突然你意识到:

没有标准指标来确定人工智能生成的旅程是否连贯、有意义或是否推进业务目标。

我们对成功的客户旅程的期望

从业务角度来看,每个旅程步骤的内容顺序不能是随机的:它必须是一种感觉连贯的引导式体验,推动客户通过有意义的阶段,并随着时间的推移加深关系。

虽然这种直觉很常见,但它也得到了客户参与研究的支持。布罗迪等人。 (2011) 将参与描述为“一个动态的、迭代的过程”,其强度和复杂性随着时间的推移而共同创造而变化。

在实践中,我们从三个互补的维度评估旅程质量:

为什么现有的 LLM 评估指标不足