AI 模型 Token 是什么?API 与上下文怎么计量
最近更新:July 2026
Token 是 LLM 计量文本的单位,不是页数也不是词数。了解它是什么、与词数/字符的区别,以及粘贴前何时该用浏览器 Token 计数器。
大语言模型并不按「页数」或英文词数计量文本。它们会把字符串切成 Token——可能是整个词、词的一部分、标点、空格,或一段代码。编辑器里看起来差不多长的两段提示词,切完之后 Token 数可能差很多。
词数、字符、Token 各管什么
字符是原文长度。词数在本站只按空白分段,不是中文分词——连续中文常会「词数很低、字符很高」。Token 才是多数 API 账单与上下文窗口用的单位。代码很密、语言混杂、或 Unicode 特殊时,三者比例会明显分叉。
为什么计费和截断都看 Token
服务商按 Token 计价和截断,是因为模型词表本来就按这种方式工作。如果只看字符数,长粘贴可能在请求失败、或模型「忘掉」早先轮次时才让你吃惊。
什么时候该打开计数器
在触达上下文上限、往 ChatGPT 塞长文、或发起偏大的 API 请求前,先用 Token 计数器。GPT 系列优先看 OpenAI / tiktoken 模式;Claude、Gemini 请当作带标注的估算。只有词数 brief 时用 词数转 Token;要看窗口占用百分比,用 上下文窗口计算器。
和「在线 Token 计数器」是什么关系
人们搜 AI token counter、LLM token counter、online token counter,要的通常是同一件事:粘贴即看长度。本站用一个工作台覆盖这些意图,而不是拆一堆换皮页。更细的厂商差异见下面各篇指南。