机构名称：
¥ 1.0
生成AI的快速发展引起了环境问题的加剧，特别是关于碳排放的。我们的框架工作，即“ prout”，通过减少大语言模型（LLMS）中推断的碳足迹来解决这些挑战。prout介绍了“生成指令”，以指导自回归的生成过程，在生态可持续性和高质量产出之间取得了平衡。通过使用Llama模型和全球电力网格数据，在现实世界评估中，使用战略优化器进行指令分配和新颖的离线质量评估者，将生成LLM推断的碳足迹降低了40％。这项工作至关重要，因为对推理时间计算量表法律的兴趣不断增加，因此强调了对环保AI解决方案的需求。
具有碳效率LLM推理的绿色生成AI
主要关键词
相关文件推荐
