详细内容或原文请订阅后点击阅览
通过学习支持函数摊销最大内积搜索
最大内积搜索 (MIPS) 是机器学习中的一个重要子例程，需要识别数据库中获取的与给定查询最匹配的向量（键）。我们提出摊销 MIPS：一种基于回归的方法，训练神经网络直接预测 MIPS 解决方案，摊销重复解决来自固定密钥数据库上已知分布的查询的 MIPS 的成本。我们的主要见解是，MIPS 值函数是密钥集的支持函数，这是一个经过充分研究的凸函数，其梯度产生最佳密钥。这……
来源:Apple机器学习研究最大内积搜索 (MIPS) 是机器学习中的一个重要子例程，需要识别数据库中获取的与给定查询最匹配的向量（键）。我们提出摊销 MIPS：一种基于回归的方法，训练神经网络直接预测 MIPS 解决方案，摊销重复解决来自固定密钥数据库上已知分布的查询的 MIPS 的成本。我们的主要见解是，MIPS 值函数是密钥集的支持函数，这是一个经过充分研究的凸函数，其梯度产生最佳密钥。这催生了两个互补的摊销模型：SupportNet（一种经过训练以回归支持函数的输入凸神经网络）和 KeyNet（一种直接回归最佳密钥的向量值网络）。 SupportNet 可以充当集群路由器，将查询引导至相关数据库分区，而 KeyNet 可以用作原始查询的直接替代品，直接馈送到现成的索引管道。我们在 BEIR 基准测试上的实验表明，对于文档嵌入，学习的 SupportNet 和 KeyNet 在考虑计算工作量时显着提高了 IVF 匹配率，无论是以 FLOP、探测数量还是挂钟时间来衡量。我们的代码位于：https://github.com/apple/ml-amips。