机构名称：
¥ 1.0
随着生成AI的兴起，由于计算需求和对高级GPU的需求，可持续性问题已经引起了人们的关注。最近的研究量化了来自数据中心的碳排放，但存在一个差距，以充分了解生成模型和硬件系统的生命周期发射。本文介绍了CPU和GPU的精制碳模型，旨在优化机器学习生命周期期间的设计空间，尤其是对于生成性推导中的多GPU系统。我们提出了一个参数化的碳模型，该模型强调了通用CPU的实质影响（寿命为2倍）。我们的发现提出了与模型依赖性策略有关碳效率生成推断的策略，例如优化的批处理，模型碎片和并行化。这些策略（适当地合并在一起）可以在碳足迹上提高17％，而无需可忽略的吞吐量。补充，我们提出了一种不对称的寿命扩展策略，以使GPU摊销CPU体现的碳，从而提高了能源效率，尽管初始碳成本较高。这种方法高光具有AI可持续实践的潜力，强调了在资源密集型生成模型时代，生命周期感知优化的重要性。
朝着碳效率LLM生命周期
主要关键词
相关文件推荐
