Boost cold-start recommendations with vLLM on AWS Trainium
在这篇文章中，我们演示了如何使用VLLM进行可扩展推理，并使用AWS深度学习容器（DLC）来简化模型包装和部署。我们将通过结构化的提示来产生兴趣扩展，将其编码为嵌入，用Faiss检索候选者，应用验证以保持结果的扎根，并以科学实验的形式构成寒冷的挑战 - 对LLM和编码器配对进行基础，并在建议级别上快速迭代，并显示出清晰的ROI
搜索和推荐平台中使用的信息检索 (IR) 系统经常采用学习排序 (LTR) 模型来对响应用户查询的项目进行排序。这些模型严重依赖从用户交互中获得的特征，例如点击和参与度数据。这种依赖性为缺乏用户参与度的项目带来了冷启动问题，并带来了适应用户行为随时间变化的挑战。我们将这两个挑战作为在线学习问题全面解决，并提出了 BayesCNS，这是一种旨在处理冷启动和… 的贝叶斯方法
