详细内容或原文请订阅后点击阅览
AI工程和随着软件工作的新层的发展
如何维护固有随机系统的可靠性后人工智能工程和评估作为软件工作的新层首先出现在《走向数据科学》上。
来源:走向数据科学看起来与以前相同。作为AI空间中的软件工程师，我的工作一直是软件工程，AI工程，产品直觉和用户同情剂量的混合体。
进行了如此多的发展，我想退后一步，反思更大的局面，以及工程师需要保持领先地位的技能和心理模型。最近对O’Reilly的AI工程学的读物使我推动了一些想深入研究如何思考Evals的推动，这是任何AI系统中的核心组成部分。
O’Reilly的AI工程 一件事引人注目：AI工程通常比AI更软件。 在OpenAI或Anthropic等研究实验室之外，我们大多数人都不是从头开始训练模型。真正的工作是用我们已经拥有的工具解决业务问题 - 使用API，构建抹布管道，工具呼叫的模型上下文，所有这些都在通常的SWE问题之上，例如部署，监视和缩放。 换句话说，AI工程无法替代软件工程，而是在其上进行了新的复杂性。 这件作品是我挑出其中一些主题的。如果他们中的任何一个引起共鸣，我很想听听您的想法 - 随时在这里伸出援手！ 在这里 AI应用程序堆栈的三层 将AI应用程序视为构建的三层：1）应用程序开发2）模型开发3）基础架构。 大多数团队从顶部开始。有了强大的模型，可以从架子上易于使用，从而开始专注于构建产品，然后根据需要将其浸入模型开发或基础架构，这通常是有意义的。 正如O’Reilly所说：“ AI工程只是软件工程，并将AI模型投入堆栈中。” “ AI工程只是软件工程，并将AI模型投入堆栈中。” 为什么蒸发很重要以及为什么它们很艰难 回归 拥有全面的测试套件有助于捕获这些回归。 如何思考evals 我喜欢将Evals分为两个广泛的领域：定量和定性。 功能正确性 安全O’Reilly的AI工程
一件事引人注目：AI工程通常比AI更软件。
在OpenAI或Anthropic等研究实验室之外，我们大多数人都不是从头开始训练模型。真正的工作是用我们已经拥有的工具解决业务问题 - 使用API，构建抹布管道，工具呼叫的模型上下文，所有这些都在通常的SWE问题之上，例如部署，监视和缩放。
换句话说，AI工程无法替代软件工程，而是在其上进行了新的复杂性。
这件作品是我挑出其中一些主题的。如果他们中的任何一个引起共鸣，我很想听听您的想法 - 随时在这里伸出援手！在这里
AI应用程序堆栈的三层
将AI应用程序视为构建的三层：1）应用程序开发2）模型开发3）基础架构。
大多数团队从顶部开始。有了强大的模型，可以从架子上易于使用，从而开始专注于构建产品，然后根据需要将其浸入模型开发或基础架构，这通常是有意义的。
正如O’Reilly所说：“ AI工程只是软件工程，并将AI模型投入堆栈中。”“ AI工程只是软件工程，并将AI模型投入堆栈中。”
为什么蒸发很重要以及为什么它们很艰难回归
拥有全面的测试套件有助于捕获这些回归。
如何思考evals