详细内容或原文请订阅后点击阅览
GPT-OSS-1220B上的人工分析基准:Clarifai排名最高的性能和成本效益
CLALIFAI高于GPT-OSS-1220B的人工分析基准,提供约0.27S TTFT,313个令牌/秒吞吐量和0.16 $ 0.16/m代币的成本效率。
来源:Clarifai博客 | 实际应用中的人工智能人工分析是一个独立的基准测试平台,评估了在延迟,吞吐量和价格的gpt-oss-1220b服务的提供者。在这些测试中,Clarifai的Compute Compestration以0.27秒的时间为第一个令牌(TTFT)和每秒313个令牌,以每100万代币的融合价格接近0.16美元。这些结果将Clarifai以高速和低价为基准的“最吸引人”区域。
gpt-oss-1220b Clarifai的计算编排 0.27 s首次令牌(ttft) 313代币每秒 混合价格接近每100万$ 0.16在基准内:Clarifai如何堆叠
人工分析基准重点介绍了直接映射到生产工作量的三个核心指标:
- 第一个令牌(ttft)的时间:从请求到第一个流式令牌的延迟。较低的TTFT提高了聊天机器人,副驾驶和代理循环的响应能力。每秒(吞吐量):平均流率,强烈的完成速度和效率的强烈指标。每百万个代币的融合价格:一种正常化的成本度量,可以说明输入和输出代币,从而使苹果对苹果进行比较。
在GPT-OSS-1220B上,Clarifai实现了:
- ttft:0.27 s吞吐量:313代币/秒融合的价格:每100万$ 0.16 TokensoverAll:在基准的“最有吸引力的”象限中排名速度和成本效率
输出速度与价格
python