详细内容或原文请订阅后点击阅览
平衡成本、功耗和 AI 性能
下次您使用 ChatGPT 或 Perplexity 等工具时，请停止并计算为满足您的请求而生成的总单词数。每个单词都来自一个称为推理的过程，这是人工智能系统的创收机制，其中生成的每个单词都可以使用基本的金融和经济商业原理进行分析。执行此操作的目标 [...]
来源:O'Reilly Media _AI & ML下次您使用 ChatGPT 或 Perplexity 等工具时，请停止并计算为满足您的请求而生成的总单词数。每个单词都来自一个称为推理的过程，这是人工智能系统的创收机制，其中生成的每个单词都可以使用基本的金融和经济商业原理进行分析。执行此经济分析的目标是确保我们设计并部署到生产中的人工智能系统能够为企业带来可持续的积极成果。
人工智能推理的经济学
对人工智能系统进行经济分析的目标是确保生产部署能够持续产生积极的财务成果。由于当今最流行的主流应用程序都是基于文本生成模型的，因此我们采用代币作为核心计量单位。标记是文本的向量表示；语言模型处理标记的输入序列并生成标记以制定响应。
当您询问人工智能聊天机器人“流感的传统家庭疗法是什么？”该短语首先被转换为通过训练模型传递的向量表示。当这些向量流经系统时，数以百万计的并行矩阵计算会提取含义和上下文，以确定最可能的输出标记组合以实现有效响应。
我们可以将代币处理视为汽车工厂的装配线。工厂的效率是通过每小时生产车辆的效率来衡量的。这种效率决定着制造商的利润，因此衡量、优化它并与其他因素进行平衡对于企业的成功至关重要。
性价比与总拥有成本
每美元代币：成本效率
每美元代币数 (tok/$) 表示每花费一个货币单位可以处理多少代币，将模型的吞吐量与计算成本相结合：
每美元代币数 (tok/$) 令牌/秒 美元/秒计算以下是决定成本效率的一些关键因素：
模型尺寸： 高 𝑡