建立统一意图识别引擎

模块化设计如何在企业AI系统中简化和扩展意图分类。邮政构建统一意图识别引擎首先出现在数据科学上。

来源:走向数据科学

系统,了解用户意图是基本的,尤其是在我操作的客户服务领域中。然而,在整个企业团队中,意图认可经常发生在孤岛中,每个团队为不同产品建立定制管道,从故障排除助手到聊天机器人和发行分诊工具。这种冗余减慢了创新,使扩展成为挑战。

在系统缠结中发现图案

在AI工作流程中,我们观察到了一个模式 - 许多项目,尽管有不同的目的,但涉及了解用户输入并将其分类为标签。每个项目都通过一些变化来独立解决它。一个系统可能会将faiss与微小的嵌入式和LLM汇总配对,以供趋势主题,而另一个将关键字搜索与语义模型混合在一起。尽管单独有效,但这些管道共享了基本的组成部分和挑战,这是合并的主要机会。

我们将它们映射出来,并意识到它们都归结为相同的基本模式 - 清洁输入,将其变成嵌入,寻找相似的示例,评分相似性并分配标签。一旦看到这一点,它就会感到很明显:为什么一遍又一遍地重建相同的管道?创建一个模块化系统会更好,而不同的团队可以为自己的需求配置而无需从头开始吗?这个问题使我们走上了我们现在所说的统一意图识别引擎(UIRE)的道路。

认识到这一点,我们看到了一个机会。与其让每个团队建立一个一次性解决方案,我们可以标准化核心组件,例如预处理,嵌入和相似性评分,同时为每个产品团队留下足够的灵活性来插入自己的标签集,业务逻辑和风险阈值。这个想法成为UIRE框架的基础。

一个用于重用的模块化框架

这是流动通常的外观:

我们以这种方式组织了组件:

可重复的组件:

结束思想