LLM评估的注释

为现实世界中AI应用程序构建评估管道的实用,分步指南首先出现在朝向数据科学方面。

来源:走向数据科学

,有人可能会说,大多数工作比ML或数据科学更类似于传统的软件开发,因为我们经常使用现成的基础模型,而不是自己培训它们。即便如此,我仍然认为,构建基于LLM的应用程序的最关键部分之一,特别是评估管道。您无法改善无法衡量的内容,也无法衡量自己不了解的内容。要建立评估管道,您仍然需要大量的精力来检查,理解和分析您的数据。

在这篇博客文章中,我想记录有关我目前正在开发的基于LLM的应用程序构建评估管道的过程的一些注释。这也是一种将我在线阅读的理论概念应用于一个具体示例的理论概念,主要来自Hamel Husain的博客。

Hamel Husain的博客 目录 应用程序 - 解释我们的方案并使用Casethe评估管道 - 评估管道及其主要组件的概述。对于每个步骤,我们都将其分为:概述 - 对步骤的简短,概念上的解释。在实践中 - 基于我们的用例应用概念的具体示例。未来的是什么 - 这仅仅是开始。我们的评估管道将如何发展?结论 - 回顾关键步骤和最终想法。 应用程序 - 解释我们的方案和用例 应用程序 评估管道 - 评估管道及其主要组件的概述。对于每个步骤,我们都将其分为:概述 - 对步骤的简短,概念上的解释。 评估管道 概述 - 对步骤的简短概念解释。 概述 - 对步骤的简短概念说明。 概述 实践 - 根据我们的用例应用概念的具体示例。 实践 arize

Hamel Husain的博客

    目录
  • 应用程序 - 解释我们的方案并使用Casethe评估管道 - 评估管道及其主要组件的概述。对于每个步骤,我们都将其分为:概述 - 对步骤的简短,概念上的解释。在实践中 - 基于我们的用例应用概念的具体示例。未来的是什么 - 这仅仅是开始。我们的评估管道将如何发展?结论 - 回顾关键步骤和最终想法。
  • 应用程序 - 解释我们的方案和用例
  • 应用程序
  • 评估管道 - 评估管道及其主要组件的概述。对于每个步骤,我们都将其分为:概述 - 对步骤的简短,概念上的解释。
      评估管道
  • 概述 - 对步骤的简短概念解释。
  • 概述 - 对步骤的简短概念说明。
  • 概述
  • 实践 - 根据我们的用例应用概念的具体示例。 实践arize