Panoram 的 Project Orange 展示了 GenAI 可以提供什么

Panoram 是一家专注于法律技术的咨询集团,由前 Neota Logic 高管 Greg Wildisen 和 Rick Seabrook 创建,最近为... 开展了一项大规模数据泄露项目

来源:Artificial Lawyer

Panoram 是一家专注于法律技术的咨询小组,由前 Neota Logic 高管 Greg Wildisen 和 Rick Seabrook 创建,最近在客户遭受网络攻击后为其开展了一项大规模数据泄露项目。他们发现 genAI 工具的表现优于所有其他选项。他们开展的工作(代号为“橙色计划”)如下。

首先,介绍一下背景。Wildisen 向 Artificial Lawyer 解释道:“网络攻击对公司来说是一项超出预算的成本。处理起来也非常昂贵。”也就是说,他们希望尽快、尽可能经济地处理这个问题。

除了造成的混乱之外,涉事公司还必须检查其所有内部文件,以找出哪些 PII(个人身份信息)可能受到了影响。正如 Wildisen 所指出的那样,这是一项重大工作,即使是现在,也经常需要大量律师助理团队来协助。但这种情况必须改变。

“人类审阅者的问题在于,他们在查看如此密集的文件时会睡着。人们不会为了找到 PII 而攻读法律学位,”他补充道。

这给此类工作增加了风险,因为可能会遗漏一些东西。此外,这样做很慢。而且,这样做成本很高。

他说,通过将 genAI 应用于该问题,他们实现了著名三重奏的所有三个方面:更好、更便宜、更快。基于这一证据,Wildisen 得出结论:“五年后,将不会再有人类从事这种类型的审阅工作。”

这就是他们做到的。

橙色项目 - 网络用例

橙色项目 - 网络用例

背景

在这个项目中,泄露的数据集涵盖了大约 10,000 份文档。与大多数泄露数据一样,识别私人数据是关键,而在这种情况下,由于泄露数据的性质,识别密码(凭证)至关重要。

Panoram Panoram

结果:

    人工审核提供的 F 分数低于 0.7(召回率和准确率的平衡) eDiscovery 提供的 F 分数为 0.6GenAI 提供的 F 分数为 0.9
  • 人工审核提供的 F 分数低于 0.7(召回率和准确率的平衡)
  • 原因: