超越准确性,实现理解:利用斯坦福的幻觉框架

作者:Tycho Orton。在斯坦福大学最近发表关于人工智能驱动的法律研究工具的论文之后,围绕这些系统的准确性引发了争论。...

来源:Artificial Lawyer

作者:Tycho Orton。

作者:Tycho Orton。

在斯坦福大学最近发表关于人工智能驱动的法律研究工具的论文之后,这些系统的准确性引发了争论。然而,这种对准确性的关注忽略了这项研究提供的更广泛的影响和宝贵的见解。在我们将人工智能融入法律行业的过程中,我们必须超越这项研究揭示的引人注目的统计数据和实用见解。

最近的论文

对于那些不知道的人来说,斯坦福大学的研究调查了 LexisNexis 和汤森路透的领先人工智能工具。它显示,这些系统仍然会产生大量的“幻觉”——虚假或误导性信息。

这导致像我和《GenAI 幻觉?律师也不完美》一书的作者这样的技术乐观主义者开始问什么构成了“足够好”的表现,无论是来自人类律师还是机器助手。人们很容易通过指出人类也会犯错来为新技术辩护。然而,这种论点在增加其他法律技术的采用方面收效甚微,对生成式人工智能的采用可能也同样影响有限。

GenAI 幻觉?律师也不完美

将人工智能与人类表现进行比较存在问题的原因有几个:

    期望值有很大差异。我们习惯于计算机始终如一地执行任务,也习惯于人类表现的自然差异。这其中有心理因素。我们喜欢教同事,但发现处理机器产生的错误令人沮丧。我们已经开发出提高人类表现的策略,但缺乏与人工智能系统交互的类似机制。我们对人类通常会犯的错误类型有直观的了解,这使我们能够更容易地发现和纠正人类的错误。人工智能错误可能更难预测,而且可能更加隐蔽。

斯坦福研究的真正价值在于两个关键领域:

关于作者