摘要:由于数据量和计算资源的不断增加,深度学习在各个领域取得了许多成功。深度学习在移动和嵌入式设备上的应用越来越受到重视,对移动和嵌入式设备的AI能力进行基准测试和排名成为亟待解决的问题。考虑到模型的多样性和框架的多样性,我们提出了一个基准测试套件AIoTBench,专注于评估移动和嵌入式设备的推理能力。AIoTBench涵盖三种典型的重量级网络:ResNet50,InceptionV3,DenseNet121,以及三种轻量级网络:SqueezeNet,MobileNetV2,MnasNet。每个网络由三个专为移动和嵌入式设备设计的框架实现:Tensorflow Lite,Caffe2,Pytorch Mobile。为了比较和排名设备的AI能力,我们提出了两个统一的指标作为AI分数:每秒有效图像(VIPS)和每秒有效FLOP(VOPS)。目前,我们已经使用基准测试对 5 款移动设备进行了比较和排名。此列表将很快扩展和更新。