ModelSwapper

通过模型交换来迈向Edgeai服务的低成本和能量意识推断

摘要 - 在过去的十年中，人工智能（AI）和Edge Computing（EC）的关键进步已导致Edgeai服务的发展，以提供对关键任务应用必不可少的智能和低潜伏期响应。但是，Edgeai服务对网络极端的扩展可能会面临挑战，例如负载波动，导致AI推断延迟以及对能源效率的担忧。本文提出了“模型交换”，其中Edgeai服务使用的模型将与另一个随时可用的模型交换，以便在运行时推理任务中实现成本和能源节省。ModelSwapper可以通过采用低成本算法技术来实现这一目标，该技术探讨了计算开销与模型准确性之间有意义的权衡。这样做，边缘节点通过用更简单的模型代替复杂模型来适应负载波动，从而满足所需的延迟需求，尽管不确定性较高。我们使用两种EDGEAI服务（对象检测，NLU）进行评估表明，ModelSwapper可以显着减少至少27％和68％的能量使用和推理延迟，而准确性仅降低了1％。索引术语 - 机器学习，边缘计算