「每个 token 多少钱」是大多数人评估 LLM 成本时看的第一个数字,但它往往也是唯一被认真看的数字。实际跑起来之后,决定月底账单的,是另外几件事。
成本 = 单价 × 用量结构
同样一份业务,输入输出比可能是 1:1,也可能是 10:1(比如塞进长上下文的 RAG 场景);可能有 30% 的调用是「其实用小模型就够」的简单任务。用量结构对账单的影响,经常大于模型单价本身。所以第一步是把结构摸清:按模型、按业务线拆账单,看清楚钱花在哪类调用上。
把单价降下来:时间换 money
- 能延后的任务挪到谷时:离线批处理不赶时间,峰谷分时定价就是为它们准备的;
- 该小的任务用小模型:分类、抽取、格式转换这类任务,轻量档与旗舰档的效果差距,通常远小于价格差距。
把用量看住:护栏比自觉可靠
按量计费的弹性是双刃剑——业务突增和脚本失控,在账单上长得一模一样。几件低成本的实事:
- 按应用拆 Key,账单天然按业务线分组;
- 给 Key 设调用频次与用量上限,异常流量被拦在闸门处;
- 固定看账的节奏:每周花五分钟过一遍明细,异常 pattern(调用量突增、失败率抬头)当场就能发现。
结语
LLM 的成本管理不靠运气,靠的是和任何其他云资源一样的工程习惯:拆账、设限、定期复盘。平台把明细和护栏都交到你手上——用起来,账单就不会给你惊喜。
有想看的成本话题,欢迎通过联系页留言。