优化企业AI助手:Crypto.com如何使用LLM推理和反馈来提高效率

在这篇文章中,我们探讨了Crypto.com如何使用用户和系统反馈来不断改进和优化我们的说明提示。这种反馈驱动的方法使我们能够创建更有效的提示,以适应各种子系统,同时在不同用例中保持高性能。

来源:亚马逊云科技 _机器学习
这篇文章与Crypto.com的Jessie Jiao共同撰写。 Crypto.com是一种加密交易所和全面的交易服务,可在90个国家 /地区为1.4亿用户提供服务。为了提高Crypto.com的服务质量,该公司在AWS.Modern AI助手(旨在通过自然语言,回答问题甚至执行任务互动的人工智能系统)上实施了生成AI驱动的助理服务,这在生产环境中越来越复杂。除了处理基本常见问题解答外,他们现在必须执行有意义的行动,遵守公司政策,实施内容过滤,在需要时向人类操作员升级并管理后续任务。这些要求要求复杂的系统能够处理各种方案,同时保持一致性和合规性。为了应对这些挑战,模块化子系统体系结构证明是无价的。这种体系结构方法将AI系统分为单独的专门组件,这些组件可以独立起作用,同时以凝聚力的整体合作。这种设计允许灵活地集成不同的处理逻辑,例如知识库之间的智能路由,信息源的动态优先级以及业务规则和政策的无缝纳入。每个子系统都可以独立开发并针对特定任务进行优化,同时保持整体系统连贯性。AI助理系统的复杂性增长,多个子系统处理各种工作负载,及时的工程迅速作为一门关键学科出现。仔细制作输入文本的这种艺术指导语言模型响应,并促进了互连组件之间的一致行为。制定有效的提示,即在不同子系统的同时保持一致性和准确性既关键又耗时。在精确性和可靠性至关重要的企业环境中,这一挑战尤其严重。在这篇文章中,我们探索