机构名称：
¥ 1.0
摘要 - 随着对软件定义的VEHICE（SDV）的需求不断增长，基于深度学习的感知模型在智能运输系统中变得越来越重要。但是，由于其实质性的要求，这些模型在实现实时和有效的SDV解决方案方面面临着巨大的挑战，这些要求在资源约束车辆中通常不可用。因此，这些模型通常会遭受低吞吐量，高潜伏期和过多的GPU/内存使用量，因此对于实时SDV应用而言，它们不切实际。为了应对这些挑战，我们的研究重点是通过在各种组合环境中整合修剪和量化技术来优化模型和工作流程，并利用诸如Pytorch，ONNX，ONNX运行时和Tensorrt之类的框架。我们系统地进行了分类并评估了三种不同的修剪方法，并结合了多个精确量化工作流程（FP32，FP16和INT8），并根据四个评估指标呈现结果：推理吞吐量，延迟，延迟，GPU/内存使用情况以及准确性。我们设计的技术，包括修剪和量化，以及优化的工作流程，可以达到最高18倍的推理速度和16.5倍越高的吞吐量，同时将GPU/内存使用量最多减少30％，所有这些都对准确性的影响最小。我们的工作建议使用用FP16精度和组修剪来量化的火炬 - 荷兰 - 托管工作流，作为最大程度地提高推理性能的最佳策略。它表现出在SDV中优化实时，有效的感知工作流程的巨大潜力，这有助于增强深度学习模型在资源约束环境中的应用。
在软件定义的车辆中进行实时和高效的感知工作流
主要关键词
相关文件推荐
