网络内的机器学习推断提供了高吞吐量和低潜伏期。它位于网络内,电力效率并改善应用程序的性能。尽管有其标准,但网络内机器学习研究的限值很高,需要在可编程数据平面上进行大量专业知识,以了解机器学习和应用领域的知识。现有的解决方案主要是一次性的努力,很难跨平台复制,更改或端口。在本文中,我们介绍了种植者:一个模块化,有效的开源框架,用于在一系列平台和管道体系结构上快速原型化网络内的机器学习模型。通过识别机器学习算法的一般映射方法 - 播种机引入了新的机器学习映射并改进了现有的映射。它为用户提供了几个示例用例,并支持不同的数据集,并且用户已经将其扩展到新的字段和应用程序。我们的评估表明,与以前的模型量化作品相比,Planter改善了机器学习的能力,同时大大降低了资源消耗并与网络功能共存。在未修改的商品硬件上以线速率运行的种植者支持的算法,每秒提供数十亿个推理决策。
主要关键词