每个人工智能工程师必须做出的六种选择(没有人教)

只有在模型上线后才会出现生产权衡。每个人工智能工程师必须做出的六种选择(无人教导)一文首先出现在《走向数据科学》上。

来源:走向数据科学

教你如何让模型准确。他们很少教你随后要做的决定。

您如何知道何时完全自动化某些事情而不是让人类参与其中?

什么时候提示不再足够并且微调变得值得付出代价?当账单到达时选择实时推理而不是批量推理实际上意味着什么?

这些问题不会出现在课程作业中。他们出现在你制作的第一周!

本文介绍了生产 AI 工作中出现的 6 个权衡。所有这些都有最新研究的支持,因此您可以了解人们如何处理这些常见的权衡。

这里没有正确的答案。有有用的框架、实数以及使下一个决策更快的上下文。

索引

  • LLM 时代的构建与购买(当调用 API 不再有意义时)
  • 模型复杂性与可维护性(谁在 6 个月内调试这个?)
  • 数据数量与数据质量(更多数据并不总是答案)
  • 吞吐量与延迟(批量或实时)
  • 快速工程与微调(两条截然不同的投资曲线)
  • 自动化与人工监督(您对模型单独行动的信任程度如何?)
  • 嘿那里!我的名字是 Sara Nóbrega,我教您如何成为 Learn AI 上的 AI 高级用户。免费订阅!

    1. LLM 时代的自建与购买

    当调用 API 不再有意义时

    这个问题的旧版本是:我们训练自己的模型吗?这件事基本已经解决了。几乎没有人再从头开始训练了。

    2026 版本更难。

    现在您有 3 个选择:调用 API、微调开源模型或构建并托管您自己的堆栈。每一种都有非常不同的成本曲线和非常不同的故障模式。

    2025 年 Omdia 对 376 名技术和业务利益相关者的调查发现,95% 的人同意构建提供更多定制和控制

    同一项调查发现,91% 的人同意预制平台的运输速度更快。两个数字同时为真,这就是问题所在。

    我使用的实用框架:

  • 从 API 开始。
  • 批量或实时