GPT-OSS-1220B上的人工分析基准:Clarifai排名最高的性能和成本效益

CLALIFAI高于GPT-OSS-1220B的人工分析基准,提供约0.27S TTFT,313个令牌/秒吞吐量和0.16 $ 0.16/m代币的成本效率。

来源:Clarifai博客 | 实际应用中的人工智能

人工分析是一个独立的基准测试平台,评估了在延迟,吞吐量和价格的gpt-oss-1220b服务的提供者。在这些测试中,Clarifai的Compute Compestration以0.27秒的时间为第一个令牌(TTFT)和每秒313个令牌,以每100万代币的融合价格接近0.16美元。这些结果将Clarifai以高速和低价为基准的“最吸引人”区域。

gpt-oss-1220b Clarifai的计算编排 0.27 s首次令牌(ttft) 313代币每秒 混合价格接近每100万$ 0.16

在基准内:Clarifai如何堆叠

人工分析基准重点介绍了直接映射到生产工作量的三个核心指标:

    第一个令牌(ttft)的时间:从请求到第一个流式令牌的延迟。较低的TTFT提高了聊天机器人,副驾驶和代理循环的响应能力。每秒(吞吐量):平均流率,强烈的完成速度和效率的强烈指标。每百万个代币的融合价格:一种正常化的成本度量,可以说明输入和输出代币,从而使苹果对苹果进行比较。
  • 第一个令牌(ttft)的时间:从请求到第一个流式令牌的延迟。较低的TTFT提高了聊天机器人,副驾驶和代理循环的响应能力。
  • 第一个令牌(ttft)的时间:
  • 令牌每秒(吞吐量):平均流率,是完成速度和效率的强烈指标。
  • 令牌每秒(吞吐量):
  • 混合价格为每百万个代币:一种标准化成本度量标准,可说明输入和产出令牌,从而使提供商之间的苹果对苹果比较比较。
  • 混合价格每百万个令牌:

    在GPT-OSS-1220B上,Clarifai实现了:

      ttft:0.27 s吞吐量:313代币/秒融合的价格:每100万$ 0.16 TokensoverAll:在基准的“最有吸引力的”象限中排名速度和成本效率
  • TTFT:0.27 S
  • ttft:
  • 吞吐量:313令牌/秒
  • 吞吐量:
  • 混合价格:每100万代币$ 0.16
  • 混合价格: 总体上: “最吸引人”象限

    输出速度与价格

    python