详细内容或原文请订阅后点击阅览
开办本地法学硕士实际要花多少钱？ （每百万代币欧元，测量）
我测量了一台 RTX 3090 上八个本地模型的实际 GPU 电量 - 最便宜的不是最小的，也不是最贵的最大的。运行本地法学硕士实际花费多少？ （每百万代币欧元，测量）首先出现在走向数据科学上。
来源:走向数据科学，所以它基本上是免费的。”我已经说过了，你可能也已经说过了，这种说法在有人测量之前听起来都是正确的。所以我测量了它。
这个盒子是“ardi” — 一台带有单个 RTX 3090 (24 GB) 的 openSUSE 机器。我在上面运行了一个受控基准测试：由 ollama 提供的三个本地模型，每个模型都在相同的固定工作负载下驱动，而仪表板则根据其消耗的真实 GPU 能量对每次运行进行定价。不是热设计功率估计，也不是粗略的猜测 — 每 10 秒从 nvidia-smi 进行一次功率采样，并在每次运行的精确开始→结束窗口中进行积分，按照我的实际白天/夜间电价：0.30 BGN 白天 / 0.18 BGN 夜间（保加利亚列弗 — 我的实际公用事业费率；在固定的 ECB 挂钩下将整篇文章转换为欧元，1 BGN ≈ €0.5113）。
结果是每个模型一个数字：每百万输出代币欧元。我测量的八个模型中有五个比托管云 API 便宜。其中三个没有——而且这也不是您仅通过参数计数就能猜到的三个。
我想要测试的声明
民间智慧是，本地推理是廉价的选择 ——你购买了 GPU，边际代币是免费的，云是运行仪表的东西。其中的每个部分都值得一个数字，所以这就是我所追求的：本地生成代币的边际能源成本，逐个模型，以及它如何与托管的“Flash”级 API 对同一代币的收费相比较。
为了使之成为一种测量而不是争论，我需要保持三个不变：每个模型的相同工作负载、相同的硬件以及我信任的在每次运行期间读取 GPU 的仪表。第三个是在家中最困难的部分—— 这就是乐器发挥作用的地方。
方法
然后将 4 分钟跑步转化为可比较的速率的算术：
每 1M 输出代币 € = (run_cost_BGN × 0.5113) ÷ (output_tokens / 1,000,000)
下面的三模型生成基准是可端到端重现的。以下是如何将其立在自己的盒子上。
在具有 GPU 的机器上：