基准测试更新 + GenAI 指南针的必要性

在通过面对面和在线会议来思考如何实现 genAI 准确性之后,LITIG AI 基准测试项目现在正在转向下一个...

来源:Artificial Lawyer

在通过面对面和在线会议思考如何实现 genAI 准确性之后,LITIG AI 基准测试项目现在进入了下一阶段。(此外,以下是该网站关于前进方向的一些其他想法,请参阅:对“GenAI 指南针”方法的需求。)

LITIG 对“GenAI 指南针”方法的需求

正如 CMS 创新主管 John Craske 所述,他是 LITIG 项目的领头人,以下是有关后续步骤的一些要点:

John Craske

“我们现在已经成立了一个工作组,将这些成果 [来自与基准测试 genAI 准确性相关问题的会议] 提升到一个新的水平,并起草一份咨询文件。

然后,这份咨询文件将与 [项目成员] 分享以征求反馈,然后再与业界更广泛地分享。我们的目标是在 12 月底之前让第一批输出流通——可能围绕透明度承诺 [这与对 genAI 工具的销售和部署采取明确、共享的方法的目标有关]。

工作组包括来自不同规模的律师事务所以及大型和小型法律技术供应商的成员。我们现在还创建了一个 LinkedIn 群组:Litig AI Benchmark 群组,以便于共享和讨论。

最后,我们还将继续探索与他人协调和合作的机会,以分担负担并避免任何重复——没有人需要多个法律 AI 基准!

其中包括:

  • Michael Kennedy 和 Addleshaw Goddard 寻求提高 genAI 输出准确性的经验,例如通过改进提示。
  • 斯坦福大学的 Neel Guha 谈 LegalBench
  • 斯坦福法学院 CodeX 副主任 Megan Ma
  • Ashurst 战略与参与主管 Sarah Chambers 谈 Vox PopulAI
  • 需要“GenAI 指南针”方法

    需要“GenAI 指南针”方法 精确 全行业基础 一般 没有单一的“genAI 准确性”,而是有很多不同的准确性 对准确性的一般期望 基于方向 协议