Token 估算

怎么用

1. 把准备发给模型的文本粘进输入框。
2. 四个统计框随输入实时更新：估算 token 数、字符数、词数、CJK 字符数。
3. 统计框下方的说明写明了当前使用的估算规则。
4. 点「试用示例」查看一段中英混合的示例。
5. 「清空」重置全部内容。

常见用法

• 提示词预算 —— 发送前先判断长提示词能不能塞进上下文窗口。
• 成本粗估 —— 把 token 估算换算成计费 API 的大致开销。
• 跨语言对比 —— 直观看同一个意思，中文字符远比英文单词便宜。
• 讲解分词 —— 说明为什么模型按 token 而不是字符计价和限长。

常见问题

问：估算有多准？ 答：把它当数量级参考。真实 tokenizer 使用学习得到的子词词表，实际计数因模型而异——对普通文本，与本页经验规则的偏差通常在一到两成上下。

问：词数怎么算的？ 答：以空格或标点分隔的拉丁字母与数字串各算一个词，每个 CJK 字符各算一个词——这也是多数文本编辑器对混合语言文本的统计口径。

问：为什么不直接用官方 tokenizer？ 答：官方 tokenizer 是按模型区分的库，需要下载和更新。本页用零安装、零网络换取计数近似，对预算判断来说够用。