协作框架

具有协同的大云模型和小边缘模型的生成AI服务提供的边缘云协作框架

摘要 - 生成人工智能（Genai）通过内容创建为用户提供各种服务，这被认为是将来网络中最重要的组成部分之一。但是，培训和部署大型人工智能模型（BAIMS）引入了大量的计算和通信开销。由于需要高性能计算基础架构以及长距离访问云服务的可靠性，保密性和及时性问题，因此对集中式方法构成了关键挑战。因此，敦促将服务分散，部分将它们从云移至边缘，并建立本地Genai服务以实现私人，及时和个性化的经验​​。在本文中，我们提出了一种带有协同的大云模型和小边缘模型的全新自下而上的Baim体系结构，并设计了一个分布式培训框架和一个以任务为导向的部署计划，以有效地提供本机Genai服务。拟议的框架可以促进协作智能，增强适应性，收集边缘知识并减轻边缘云负担。通过图像生成用例证明了所提出的框架的有效性。最后，我们概述了基本研究指示，以充分利用Edge和Cloud对于本地Genai和Baim应用程序的协作潜力。