机构名称：
¥ 3.0
在某个时候，开发具有竞争力的高性能 LLM 似乎只有最有资源的科技公司（例如 Google、Meta 或 OpenAI）才能实现。然而，两项发展改变了这一趋势，使 LLM 开发更加广泛。首先，发表的研究表明，在选择计算能力、模型大小和训练数据集大小时，存在一组最佳值。其次，参数高效微调技术的出现（例如 LoRA），大大减少了训练 LLM 所需的资源量 - PALM 2 已经遵循了这一趋势，尽管它似乎是用更大的数据集进行训练的，但它的参数比其前身要少（3400 亿，而 PaLM 为 5400 亿）。
2023-2024 年报告 - 欧洲数据保护监督机构
主要关键词
相关文件推荐
