详细内容或原文请订阅后点击阅览
促进工程实现认知灵活性
使用 MMLU-Pro 进行实验的实用见解和分析来源：图片由作者提供，由 MidJourney 生成简介开发能够像人类一样思考、计划和决策等的 AI 代理是当前研究和讨论的一个突出领域。目前，LLM 已成为这些代理的基础构建块。随着我们追求越来越复杂的能力，无论使用哪种法学硕士，我们不可避免地会一遍又一遍地遇到相同类型的问题，包括：模型是否具有准确高效地完成任务所需的知识？如果有适当的知识，我们如何可靠地激活它？模型是否能够模仿复杂的认知行为，例如推理、规划和决策，达到可接受的熟练程度？本文通过我最近进行的一项利用最新 MMLU-Pro 基准的小型实验来探讨这些问题。研究结果带来了一些关于认知灵活性的有趣见解，以及我们如何将这一认知科学概念应用于我们的 AI 代理并促进工程工作。背景MMLU-Pro — 多项选择挑战最近发布的 MMLU-Pro（大规模多任务语言理解）基准通过呈现比其前身 MMLU [1] 更强大、更具挑战性的任务集来测试 AI 模型的能力边界。目标是创建一个全面的评估 c
来源:走向数据科学实现认知灵活性的快速工程
实现认知灵活性的快速工程
使用 MMLU-Pro 进行实验的实用见解和分析
简介
开发能够像人类一样思考、计划和决策的 AI 代理是当前研究和讨论的一个突出领域。目前，法学硕士已成为这些代理的基础构建块。随着我们追求日益复杂的能力，无论使用哪种法学硕士 (LLM)，我们不可避免地会一遍又一遍地遇到相同类型的问题，包括：
- 该模型是否具有准确高效地完成任务所需的知识？如果有适当的知识，我们如何可靠地激活它？该模型是否能够以可接受的熟练程度模仿复杂的认知行为，例如推理、规划和决策？
本文通过我最近进行的一项利用最新 MMLU-Pro 基准的小型实验来探讨这些问题。这些发现为认知灵活性提供了一些有趣的见解，以及我们如何将认知科学的这一概念应用于我们的人工智能代理和快速工程工作。
MMLU-Pro背景
背景MMLU-Pro — 多项选择题
MMLU-Pro — 多项选择题问题 205：如果每股年收益平均值为 8.6 美元，标准差为 3.4 美元，那么观察到的每股收益低于 5.5 美元的可能性有多大？
答案：A：0.3571，B：0.0625，C：0.2345，D：0.5000，E：0.4112，F：0.1814，G：0.3035，H：0.0923，I：0.2756，J：0.1587
其中：