トークンとは？AIモデル・API・コンテキストウィンドウ

大規模言語モデルは、ページ数や英単語数ではテキストを計測しません。文字列をトークンに分割します。トークンは単語全体、単語の一部、句読点、スペース、コードの断片などになり得ます。エディタ上で似た長さに見える2つのプロンプトでも、トークン化後の数は大きく異なることがあります。

単語数、文字数、トークン

文字数は生の長さです。本サイトの単語数は空白区切りのみで、中国語の形態素解析ではありません。連続した中国語は単語数が低く、文字数が高いことがあります。トークンは多くのAPIとコンテキストウィンドウで使われる単位です。密度の高いコード、混在言語、特殊なUnicodeは、3つの比率を大きく変えます。

課金とウィンドウがトークンを使う理由

プロバイダーがトークンで価格設定・切り詰めを行うのは、モデルの語彙がその仕組みで動いているからです。文字数だけを見ていると、長い貼り付けでリクエストが失敗したり、モデルが以前のターンを「忘れた」りするときに驚くことになります。

カウンターが役立つ場面

コンテキスト上限に達する前、ChatGPTの入力欄に長文を入れる前、大きなAPI呼び出しで予算を使う前に、トークンカウンターを使いましょう。GPT系の長さにはOpenAI形式（tiktoken）モードを優先し、ClaudeとGeminiはラベル付きの推定値として扱ってください。単語数のみのブリーフには単語→トークンを、埋め率にはコンテキストウィンドウ計算機を使います。

「オンライントークンカウンター」検索との関係

AI token counter、LLM token counter、online token counter などの検索は、多くの場合同じ作業を求めています。貼り付けて長さを読むことです。似たページを量産するより、1つのワークベンチでこれらの意図をカバーする方が効果的です。ベンダー固有の詳細は下の各ガイドにあります。