详细内容或原文请订阅后点击阅览
CAMPHOR：用于设备上多输入规划和高阶推理的协作代理
虽然服务器端大型语言模型 (LLM) 在工具集成和复杂推理方面表现出色，但直接在设备上部署小型语言模型 (SLM) 带来了改善延迟和隐私的机会，但也带来了准确性和内存方面的独特挑战。我们推出了 CAMPHOR，这是一种创新的设备 SLM 多代理框架，旨在处理多个用户输入并在本地推理个人背景，确保隐私得到维护。 CAMPHOR 采用分层架构，其中高阶推理代理分解复杂任务并协调专家……
来源:Apple机器学习研究虽然服务器端大语言模型（LLMS）表明了工具集成和复杂推理的熟练程度，但直接在设备上部署小语言模型（SLM）带来了改善延迟和隐私的机会，但也引入了准确性和内存的独特挑战。我们介绍了Camphor，这是一种创新的设备SLM多代理框架，旨在在当地的个人上下文上处理多个用户输入和理由，从而确保维护隐私。 Camphor采用了分层体系结构，高级推理代理分解复杂的任务，并协调负责个人上下文检索，工具互动和动态计划生成的专家代理。通过跨代理实现参数共享并利用及时压缩，我们可以显着降低模型大小，延迟和内存使用情况。为了验证我们的方法，我们提出了一个新颖的数据集，该数据集捕获以个性化移动助理用例为中心的多代理任务轨迹。我们的实验表明，微调的SLM代理不仅超过了任务完成F1中的封闭源LLM，还可以超过35％，而且还消除了对服务器设备通信的需求，同时又增强了隐私。