由于有希望的经验进步，使用神经网络的图算法最近引起了极大的兴趣。这激发了对神经网络如何通过关系数据复制推理步骤的进一步理解。在这项工作中，我们研究了变压器网络从理论角度模拟算法的能力。我们使用的体系结构是一个循环变压器，其额外的注意力头与图形相互作用。我们通过构造证明，该架构可以模拟单个算法，例如Dijkstra的最短路径，广度和深度搜索，以及Kosaraju的强烈连接组件以及同时的多种算法。网络中的参数数不会随输入图大小而增加，这意味着网络可以模拟任何图的上述算法。尽管有有限的精确度，但我们在解决方案中的模拟显示了一个限制。最后，当利用额外的注意力头时，我们显示出具有恒定宽度的图灵完整性结果。