机构名称：
¥ 2.0
Transformer 最初是作为文本的序列到序列模型提出的，但如今已成为图像、音频、视频和无向图等多种模态的重要工具。然而，尽管 Transformer 可应用于源代码和逻辑电路等无处不在的领域，但用于有向图的 Transformer 却是一个令人惊讶的未被充分探索的课题。在这项工作中，我们提出了两种用于有向图的方向感知和结构感知的位置编码：（1）磁拉普拉斯算子的特征向量——组合拉普拉斯算子的方向感知泛化；（2）方向随机游走编码。从经验上讲，我们表明额外的方向性信息在各种下游任务中都很有用，包括排序网络的正确性测试和源代码理解。结合以数据流为中心的图构造，我们的模型在 Open Graph Benchmark Code2 上的表现比之前的最佳模型高出 14.7%。3
当 Transformer 遇见有向图
主要关键词
相关文件推荐
