同一段文本为什么贵出一倍？Tokenizer 差异正在变成 AI 工具的隐性成本

核心变化

AI 模型的价格表通常把输入和输出统一写成"每百万 token"。这让不同模型看起来容易比较，但 token 并不是固定的字符单位。每个模型使用的 tokenizer 不同，同一份 TypeScript、中文资料或表格文本，切分结果可能明显不同。最终账单等于单价乘以 token 数，而不是单价乘以字符数。

公开技术分析展示了这种差异在代码场景中的放大效果。即使不采用某一组具体数字，也能确认一个关键事实：如果模型 A 对你的数据切出更多 token，它的名义低价可能被额外 token 消耗抵消。

为什么值得关注

这不是只有大公司才会遇到的问题。文档问答会反复携带上下文，写作工具会把历史内容送回模型，代码助手还会附带文件、错误信息和系统提示。一次请求多出几百 token 看似不多，乘以每天几千次调用后就会成为稳定成本。

Tokenizer 还影响上下文容量。标称相同窗口的模型，如果对中文或代码切分更碎，实际能放入的内容就更少，应用需要更早进行截断或摘要，间接影响答案质量。

与工具箱的关系

针对不同工具的优化方向：

• 即阅 处理长文档时，不应把整篇材料反复发送给模型，更合理的流程是先分块、索引，只取与问题相关的片段。
• 数据分析 Pro 面对 CSV 或表格时，应优先传递结构化摘要与必要行列，而不是把所有单元格拼成文本。
• 公众号 AI 排版编辑器 可以把排版规则固定在系统侧，避免每轮都重复冗长说明。

这些优化既减少 token，也让模型看到更聚焦的信息，通常同时改善成本和质量。

局限与风险

Tokenizer 只是成本的一部分。以下因素都会改变总拥有成本：

• 缓存折扣
• 批处理
• 推理速度
• 失败重试
• 输出长度
• 模型准确率

最便宜但经常答错的模型，可能因为重试和人工纠错反而更贵。不同供应商也可能调整计费规则，测试结果需要定期更新。

行动建议

建议建立小型基准集与对照流程：

• 基准集应包含中文文章、代码、表格和真实提示词。
• 对候选模型分别统计输入 token、输出 token、首字延迟、任务成功率和重试次数。
• 最后计算"完成一次合格任务"的平均成本。
• 对长文本工具，再加入缓存命中率和检索后上下文长度。

只有把这些数据放在一起，价格比较才有实际意义。