详细内容或原文请订阅后点击阅览
增强AI推断：高级技术和最佳实践
在实时AI驱动的应用程序（例如自动驾驶汽车或医疗保健监控）方面，即使是额外的一秒钟来处理输入也可能会产生严重的后果。实时AI应用需要可靠的GPU和处理能力，到目前为止，这对于许多应用程序一直非常昂贵且成本良好。通过采用优化推理过程，企业可以[…]提高AI推理的帖子：高级技术和最佳实践首先出现在Unite.ai上。
来源:Unite.AI在实时AI驱动的应用程序（例如自动驾驶汽车或医疗保健监控）方面，即使是额外的一秒钟来处理输入也可能会产生严重的后果。实时AI应用需要可靠的GPU和处理能力，到目前为止，这对于许多应用程序一直非常昂贵且成本良好。
医疗保健监控通过采用优化推理过程，企业不仅可以最大化AI效率；它们还可以将能耗和运营成本降低（最多90％）；增强隐私和安全性；甚至提高客户满意度。
常见推理问题
公司在管理AI效率方面面临的一些最常见的问题包括未充分利用的GPU群集，默认为通用模型以及对相关成本的洞察力缺乏见解。
团队经常为GPU群集提供峰值负载，但在70％至80％的时间里，由于工作流不平衡，它们被充分利用。
此外，即使是在较小，更便宜的开源型号上运行的任务，团队默认为大型通用模型（GPT-4，Claude）。原因？缺乏知识和陡峭的学习曲线，可以建立自定义模型。
最后，工程师通常缺乏对每个请求的实时成本的见解，从而导致大量账单。 Helicone等提示器等工具可以帮助提供此见解。
由于缺乏对模型选择，批处理和利用率的控制，推理成本可以成倍扩展（最多10次），废物资源，限制准确性并降低用户体验。
能耗和运营成本
Running larger LLMs like GPT-4, Llama 3 70B or Mixtral-8x7B requires significantly more power per token.平均而言，数据中心使用的能源的40％至50％为计算设备提供动力，另外30％至40％的精力用于冷却设备。
运行较大的LLM，例如GPT-4，Llama 3 70b或Mixtral-8x7b需要 明显更多的功率 消耗更多能量 。