详细内容或原文请订阅后点击阅览
DeepMind 推出 JEST 算法：让 AI 模型训练更快、更便宜、更环保
生成式人工智能正在取得令人难以置信的进步，改变着医学、教育、金融、艺术、体育等领域。这一进步主要来自于人工智能从更大的数据集中学习并构建具有数十亿个参数的更复杂模型的能力的提高。虽然这些进步推动了重大的科学发现，创造了新的商业机会，并促进了工业增长，但它们 […]DeepMind 推出 JEST 算法：让人工智能模型训练更快、更便宜、更环保的文章首次出现在 Unite.AI 上。
来源:Unite.AI生成式人工智能正在取得令人难以置信的进步，正在改变医学、教育、金融、艺术、体育等领域。这一进步主要来自于人工智能从更大的数据集中学习以及构建具有数十亿个参数的更复杂模型的能力的提高。尽管这些进步推动了重大的科学发现、创造了新的商业机会并促进了工业增长，但它们的成本却很高，尤其是考虑到训练这些大规模模型对财务和环境的影响。学习算法需要强大的计算能力来训练具有大数据集的生成式人工智能模型，这会导致高能耗和显著的碳足迹。
虽然之前使生成式人工智能可持续发展的努力主要集中在提高人工智能训练的硬件效率和开发具有更少参数的较小模型，但 Google DeepMind 采取了一种创新方法，旨在提高生成式人工智能训练算法的效率。他们开创了一种新算法 JEST（联合示例选择），其运行速度比现有技术快 13 倍，能效比现有技术高 10 倍。
JEST（联合示例选择）在本文中，我们探讨了 AI 训练的挑战以及 JEST 如何解决这些问题。此外，我们还考虑了 JEST 算法的更广泛影响和未来研究方向，设想了其潜在影响，而不仅仅是提高 AI 训练的速度、成本效益和环境友好性。
AI 训练的挑战：高成本和环境影响
由于成本高和对环境的影响大，训练生成式 AI 模型面临重大挑战。
财务成本： 约 460 万美元 1 亿美元 能源消耗： 全球电力需求的 1% 到 2030 年将达到 35 吉瓦 碳足迹： 626,000 磅二氧化碳