LITIG 组建法律行业 AI 基准测试计划

LITIG,法律 IT 创新者集团,在人工智能律师的支持下,成立了法律行业 AI 基准合作计划,以解决...

来源:Artificial Lawyer

LITIG,即法律 IT 创新者团体,在人工智能律师的支持下,成立了法律行业 AI 基准测试协作计划,旨在满足在使用和测量生成式 AI 工具时对共享标准日益增长的需求。

法律行业 AI 基准测试协作

LITIG 呼吁所有感兴趣的各方参与进来,第一次面对面会议将于 7 月下旬在伦敦举行,以启动该项目。如果有国际兴趣,随后还将召开一次在线会议。

LITIG

如果您想参与,请通过此处的在线表格联系 LITIG。

表格在这里

现在,CMS 首席创新与知识官、LITIG 董事会成员 John Craske 将详细介绍该项目,他创建了该计划并将协助主持。

John Craske CMS

“随着法律科技界开始掌握生成式人工智能,建立信任和促进透明度的机制对于成功至关重要。

斯坦福大学最近发布的报告:“无幻觉?评估领先的人工智能法律研究工具的可靠性”,以及随后通过采访、文章和新闻稿进行的辩论确实很有趣。同一种工具不可能同时具有 90% 的准确率和 42% 的准确率!

无幻觉?评估领先的人工智能法律研究工具的可靠性

在 CMS,我们一直在进行自己的测试、基准测试和收集有关生成式人工智能解决方案准确性的数据。我知道许多其他公司也在做同样的事情。例如:年利达律师事务所(Linklaters)在此领域做了一些出色的早期工作(参见 LinksAI 基准);Ashurst 最近发布了一些关于其测试方法的定性数据和信息;Addleshaw Goddard 解释了他们提高准确性的测试方法的各个方面。在最近的新闻中,法律科技公司 Screens 也发布了他们的生成式 AI 准确性分数和方法(参见 Screens 上的《人工智能律师》一文)。