Tiktoken 与近似计数 - 浏览器能精确到哪一步
最近更新:July 2026
何时能贴近 OpenAI tiktoken 编码(o200k、cl100k),何时 Claude / Gemini 只能近似。如何读模式标注,以及何时应以 API 为准。
不是每家厂商都会提供一份能直接放进静态网页的浏览器分词器。LLM TokenBase 对此说清楚:有的模式尽量贴近精确编码,有的只能做近似,并会明确标注。
Tiktoken 类模式能做什么
面向 OpenAI 工作流时,只要浏览器里有对应资源,我们会使用 o200k_base、cl100k_base 这类编码。这是目前公开渠道里,较接近 GPT 系 API 长度口径的做法。请打开 Token 计数器,切换到 OpenAI 系模式来核对。
不是每家都能做到同样精确
Anthropic 和 Google 没有同等的静态页编码可直接嵌入。仍在同一计数器里提供 Claude、Gemini 的实用估算,方便你规划提示词——「近似」标记会一直保留。细节见 Claude / Gemini 专题指南。
怎么读模式名称
精确模式按实际提供的编码命名(例如「OpenAI (o200k)」),不会拿营销型号乱贴。暂时没有浏览器映射的新 ID,会写在 计数说明里。聊天封装、工具调用、多轮格式仍可能让真实用量偏离本页数字。
关键时以 API 为准
规划用计数可以在本站完成;硬上限和账单请以服务商控制台为准。