Harmonic Security 如何使用 Amazon SageMaker、Amazon Bedrock 和 Amazon Nova Pro 通过低延迟微调模型改进其数据泄漏检测系统

本文将介绍 Harmonic Security 如何使用 Amazon SageMaker AI、Amazon Bedrock 和 Amazon Nova Pro 来微调 ModernBERT 模型,从而实现低延迟、准确且可扩展的数据泄漏检测。

来源:亚马逊云科技 _机器学习

本文由 Harmonic Security 的 Bryan Woolgar-O’Neil、Jamie Cockrill 和 Adrian Cunliffe 共同撰写

在支持第三方生成式 AI 工具的同时,组织面临着越来越多的挑战。Harmonic Security 是一家网络安全公司,开发了一个 AI 治理和控制层,可以在员工使用 AI 时发现敏感数据,使安全团队能够在业务加速发展的同时确保 PII、源代码和工资信息的安全。

下面的屏幕截图演示了 Harmonic Security 的软件工具,突出显示了不同的数据泄漏检测类型,包括员工 PII、员工财务信息和源代码。

Harmonic Security 的解决方案现已在 AWS Marketplace 上提供,使组织能够通过无缝 AWS 集成部署企业级数据泄漏保护。该平台提供 GenAI 使用情况的即时可见性、风险点的实时指导以及高风险 AI 应用程序的检测,所有这些都由本文中描述的优化模型提供支持。

他们系统的初始版本是有效的,但检测延迟为 1-2 秒,有机会进一步增强其功能并改善整体用户体验。为了实现这一目标,Harmonic Security 与 AWS Generative AI 创新中心合作,优化其系统,实现四个关键目标:

  • 将第 95 个百分位数的检测延迟减少到 500 毫秒以下
  • 保持受监控数据类型的检测准确性
  • 继续支持欧盟数据驻留合规性
  • 为生产负载启用可扩展架构
  • 本文介绍了 Harmonic Security 如何使用 Amazon SageMaker AI、Amazon Bedrock 和 Amazon Nova Pro 来微调 ModernBERT 模型,从而实现低延迟、准确且可扩展的数据泄漏检测。

    解决方案概述

    下图展示了低延迟推理和可扩展性的解决方案架构。

  • 低于 500 毫秒的推理延迟