15｜算力（一）：AI时代的“电费”怎么算？
产品二姐
你好，我是产品二姐。
对于产品经理来说，每一个产品都要去评估它的 ROI（投入产出比）, 今天我们聊聊如何计算“投入”这一项中的“算力成本”。
算力成本这件事看起来很复杂，但如果我们从两个维度来分析，并且用“发电站”来类比就会非常清晰，容易理解。
第一个维度是大语言模型的部署方式，有三种方式：直接调用大模型接口、私有化部署在云端和私有化部署在本地硬件。
第二个维度是成本消耗方式，有推理和模型微调两种。推理就是直接使用模型的标准输出，训练就是需要对模型本身进行一定的改造，类比于使用电时一般电器使用标准电压即可，但有些特殊设备，可能需要加个变压器（比如 Lora 中的增量参数矩阵），或者是改变发电机本身来输出非标准电压。前者是每个 AI 应用都一定有的成本，后者是可选项，必要的时候才会启动。
一般来说，部署方式对成本的影响更大，因此，我会按照部署方式划分的三种情况来讲解，每种部署方式中再分别讲述它对应的推理和模型微调成本。
好，我们来详细讲讲。
直接调用大模型接口
如果你的部署方式是直接调用模型厂商接口，那么模型厂商相当于发电站。这里发的电就是 “Token”，而你负责缴纳电费，也就是缴纳 Token 消耗费用。
通常情况下，你只需要通用 220 伏的电就好，这里相当于成本消耗方式就是“推理”；但有的时候，你需要用 380 伏或者其他电压供电，这时你需要发电站做一些调整，因此要支付更高的 Token 费用，这就是以“模型微调”方式消耗的成本。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 算力成本的两个维度：部署方式和成本消耗方式，类比于发电站的运作方式，清晰易懂。 2. 三种部署方式对应的成本消耗方式：直接调用大模型接口、私有化部署在云端和私有化部署在本地硬件。 3. 计算成本的公式：推理成本 = 模型推理接口调用的Token单价 * Token数；训练成本（微调成本）= 模型微调接口Token单价 * 训练数据的Token数。 4. 不同模型厂商的Token价格差异，以及输入、输出Token单价的不同，以及BatchAPI的价格和使用场景。 5. 缓存提示词的作用和效果，以及如何利用BatchAPI来降低成本。 6. Token数的计算和重要性。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《成为 AGI 产品经理》，新⼈⾸单¥59
《成为 AGI 产品经理》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论