基于机器学习的应用程序的大量增长和摩尔定律的终结迫切需要重新设计计算平台。我们提出了 Lightning,这是第一个可重构的光子电子智能 NIC,用于满足实时深度神经网络推理请求。Lightning 使用快速数据路径将流量从 NIC 馈送到光子域,而不会产生数字数据包处理和数据移动瓶颈。为此,Lightning 利用了一种新颖的可重构计数动作抽象,可以跟踪每个推理包所需的计算操作。我们的计数动作抽象通过计算每个任务中的操作数将计算控制平面与数据平面分离,并在不中断数据流的情况下触发下一个任务的执行。我们使用四个平台评估 Lightning 的性能:原型、芯片综合、仿真和模拟。我们的原型展示了以 99.25% 的准确率执行 8 位光子乘法累加运算的可行性。据我们所知,我们的原型是频率最高的光子计算系统,能够以 4.055 GHz 的速度端到端处理实时推理查询。我们对大型 DNN 模型的模拟表明,与 Nvidia A100 GPU、A100X DPU 和 Brainwave smartNIC 相比,Lightning 将平均推理服务时间分别加快了 337 × 、329 × 和 42 × ,同时消耗的能量分别减少了 352 × 、419 × 和 54 × 。
主要关键词