用户操作序列建模：从注意力到 Transformers 及其他
将推荐系统 LLM 化的探索继续阅读 Towards Data Science »
来源:走向数据科学用户操作序列建模：从注意力到 Transformers 及其他
用户操作序列建模：从注意力到 Transformers 及其他
将推荐系统 LLM 化的探索
用户操作序列是推荐系统中最强大的输入之一：您的下一次点击、阅读、观看、播放或购买可能至少与您几分钟、几小时、几天、几个月甚至几年前点击、阅读、观看、播放或购买的内容有某种关联。
从历史上看，对此类用户参与序列进行建模的现状一直是池化：例如，2016 年的一篇经典 YouTube 论文描述了一个系统，该系统获取最新观看的 50 个视频，从嵌入表中收集它们的嵌入，然后通过总和池化将它们池化为单个特征向量。为了节省内存，这些序列视频的嵌入表与候选视频本身的嵌入表共享。
论文这种简单的方法大致对应于 NLP 领域的词袋方法：它有效，但远非理想。池化不考虑输入的顺序性，也不考虑用户历史记录中的项目与我们需要排名的候选项目的相关性，也不考虑任何时间信息：一个……