详细内容或原文请订阅后点击阅览
LLM系统设计和模型选择
选择合适的LLM已成为一项全职工作。几乎每天都会出现新模型，每个模型都提供不同的功能，价格和怪癖，从推理优势到成本效率到代码生成。这项比赛为AI实验室提供了强烈的激励措施，以挖掘一个利基市场，并为新创业公司提供出现的空间，从而产生零散的景观[…]
来源:O'Reilly Media _AI & ML选择合适的LLM已成为一项全职工作。几乎每天都会出现新模型，每个模型都提供不同的功能，价格和怪癖，从推理优势到成本效率到代码生成。该竞赛为AI实验室提供了强烈的激励措施，可以使自己的利基市场开放，并为新创业公司提供出现的空间，从而产生了零散的景观，其中一种模型可以在推理上表现出色，另一个模型在代码上和成本效率的三分之一。
ai的速度比以前的任何技术都要快，至少每单位智能。例如，Gemini 2.5 Flash-Lite的输入令牌比2022年8月的OpenAI的GPT-3（Davinci-002）价格便宜600倍，同时在每个度量标准上都表现出色。同时，获得边境功能也比以往任何时候都变得更加昂贵。原因很简单：我们现在可以直接付款以获得更多的能力，这导致每月订阅层的$ 300+。
智力单位今天，任何开发人员都可以使用诸如Ollama之类的工具在本地运行能力的开放权重模型。同时，企业系统可以根据模型大小（例如参数数量，例如30亿，700亿甚至数万亿美元），内部处理步骤的数量以及输入数据的数量来体验急剧的成本。对于开发人员而言，这些是直接影响可行性和成本结构的中央系统设计选择。对于最终用户，这种复杂性解释了为什么基本订阅与高级模型限制更高的高级计划有很大不同。
您在这些更广泛的开发决策中做出的选择还确定了哪些LLM和推理设置最适合您的用例。
包括O’Reilly