详细内容或原文请订阅后点击阅览
JEST：DeepMind 在人工智能训练效率方面取得突破
高效、绿色的模型训练。
来源:安全实验室新闻频道高效、绿色的模型训练。
谷歌 DeepMind 推出了一种名为 JEST（联合示例选择训练）的新型 AI 训练方法，与传统方法相比，该方法可以将学习过程加快 13 倍，并降低能源成本 10 倍。随着AI行业的发展，数据中心的负载增加，从而导致能源成本大幅增加和碳足迹增加。 JEST 通过专注于处理整批数据而不是单个示例来解决此问题。
DeepMindJEST 方法涉及训练一个小模型，用于评估数据质量并对其进行排名。然后，这些经过排序的批次数据被用来训练更大的模型，从而大大提高了过程的效率。 JEST 的技术方面包括多模态对比学习，它分析文本和图像等不同类型数据的交互。这使您可以选择信息最丰富且难以训练的数据包，从而加快整个过程。
DeepMind 实验表明，JEST 可以通过更少的训练迭代和降低的计算成本实现最先进的结果。 JEST 方法使用吉布斯采样启发的算法来选择最佳的数据批次进行训练，从而显着提高性能。
显示降低能源成本不仅可以降低成本，还有助于解决人工智能对环境的影响。据电力能源研究所称，到 2030 年，数据中心可能消耗美国 4.6% 至 9.1% 的电力。尽管取得了成功，JEST 方法仍然需要准备充分的小型数据集来指导选择过程。开发自动确定最佳参考分布的方法仍然是一项紧迫的任务。