指南
用专题文章承接长尾搜索:Token、tiktoken、各模型计数与换算。每篇都链到可直接试用的工具。
- AI 模型 Token 是什么?API 与上下文怎么计量
Token 是 LLM 计量文本的单位,不是页数也不是词数。了解它是什么、与词数/字符的区别,以及粘贴前何时该用浏览器 Token 计数器。
- Tiktoken 与近似计数 - 浏览器能精确到哪一步
何时能贴近 OpenAI tiktoken 编码(o200k、cl100k),何时 Claude / Gemini 只能近似。如何读模式标注,以及何时应以 API 为准。
- OpenAI / ChatGPT / GPT Token 怎么数
粘贴进 ChatGPT 或调 GPT API 前先数长度:tiktoken 编码、GPT-4 核对,以及聊天界面里哪些开销计数器看不到。
- Claude / Anthropic Token 计数(近似)说明
浏览器里估算 Claude 提示词长度:为何没有静态 tiktoken 编码、如何规划上下文、何时以 Anthropic API 为准。
- Gemini Token 计数在线 - 「近似」是什么意思
长粘贴进 Gemini 前先估 Token。为何没有可嵌入网页的官方编码、本站如何标注不确定,以及何时以 Google AI Studio 为准。
- Python Tiktoken:编码、GPT 长度与浏览器核对
Python tiktoken 做什么、o200k_base / cl100k_base 如何对应 GPT 长度,以及何时用浏览器计数器在 IDE 外做快速核对。
- GPT-4o 上下文窗口、Max Tokens 与 128k 占用
GPT-4o max tokens 与 128k 在实践里怎么用:占用百分比、给回复留空,以及模型截断前如何核对长粘贴。
- 词数与 Token 互转 - 32k、128k、100万怎么估
词数 ↔ Token 规划比例:200 Token、32k、128k、100万 Token 约合多少词。固定比例的局限,以及何时必须粘贴真实文本计数。
- LLM / 在线 Token 计数器 - 本地计算、不上传
好用的在线 LLM / AI Token 计数器该做什么:本地计算、切换 OpenAI/Claude/Gemini 模式、标注近似——而不是一堆换皮关键词页。