详细内容或原文请订阅后点击阅览
具有行级安全性的多租户 LLM 分析：我们如何在 AWS 上构建安全代理
在这篇文章中，我们将向您展示 PAR 如何构建一个生产就绪的多租户 LLM 分析系统，该系统通过三层架构强制执行行级安全性：使用 AWS SigV4 进行加密请求签名、Amazon Bedrock 上的语义验证以及通过 Split-Plane SQL 进行编程数据隔离。我们演示了每一层如何独立运行，以降低跨租户数据暴露的风险，即使 LLM 本身受到损害或操纵也是如此。
来源:亚马逊云科技 _机器学习在 PAR Technology Corporation，我们为餐饮业构建技术，为 300 多家餐饮企业（从独立经营者到大型多品牌特许经营集团）提供支持。在这个多元化的客户群中，我们通过释放数据的价值来帮助组织做出更好的决策。
当我们着手构建用于自助分析的自然语言文本到 SQL 代理时，目标很明确：使业务用户，无论技术背景如何，都能用简单的英语提出业务问题，并在几秒钟内收到可靠的、有数据支持的答案。然而，兑现这一承诺需要解决表面之下更复杂的挑战。
在这篇文章中，我们将向您展示 PAR 如何构建一个生产就绪的多租户 LLM 分析系统，该系统通过三层架构强制执行行级安全性：使用 AWS SigV4 进行加密请求签名、Amazon Bedrock 上的语义验证以及通过 Split-Plane SQL 进行编程数据隔离。
我们演示了每一层如何独立运行，以降低跨租户数据暴露的风险，即使 LLM 本身受到损害或操纵也是如此。
核心问题在于大规模数据访问、正确性和安全性的交叉点。我们的系统必须同时支持数千个用户，每个用户都与不同的业务、数据集和权限边界相关。代理生成的每个查询不仅必须准确，而且必须严格限制在用户有权访问的数据范围内。换句话说，挑战不仅仅在于生成 SQL。它每次都会针对正确的数据片为正确的用户生成正确的 SQL。
数据边界问题
考虑两个用户在同一天早上打开我们的分析代理并提出完全相同的问题：“上周的总销售额是多少？”
第一个用户是特许经营权所有者。他们在芝加哥经营两个地点。他们的正确答案是 84,000 美元，即他们两家商店的销售额之和。