机构名称：
¥ 1.0
在线推论已成为许多业务的关键服务产品，该服务部署在云平台中以满足客户需求。尽管具有收入产生能力，但这些服务仍需要在紧张的服务质量（QoS）和成本预算方面运作。本文介绍了Kairos，这是一个新颖的运行时框架，在满足QoS目标和成本预算的同时，最大化查询吞吐量。kairos设计和实施新技术，以在没有在线探索开销的情况下构建异质计算硬件池，并在运行时最佳地分发推理查询。我们使用行业级机器学习（ML）模型的评估表明，尽管有优于竞争方案的有利实现，可忽略他们的探索台面，但kairos的最佳最佳同质解决方案的吞吐量最高可超过70％。
kairos：具有异构云资源的建筑成本效益的机器学习推理系统
主要关键词
相关文件推荐
