ガイド

トークン、tiktoken、各社のカウント方式、変換などを深掘りするロングテール記事。各記事から試せるツールへリンクしています。

• トークンとは？AIモデル・API・コンテキストウィンドウ

  トークンはLLMがテキストを計量する単位で、ページ数でも単語数でもありません。トークンとは何か、単語数との違い、貼り付け前にブラウザのトークンカウンターを使うべきタイミングを解説します。

• Tiktokenと近似カウント - ブラウザガイド

  ブラウザのカウントがOpenAIのtiktokenエンコーディング（o200k、cl100k）と一致する場合と、ClaudeやGeminiが近似値のままになる場合。ラベルの読み方とAPIでの検証方法を解説します。

• OpenAI・ChatGPT・GPTのトークンカウント解説

  貼り付け前にOpenAIとChatGPTのプロンプトをカウント：tiktoken形式のエンコーディング、GPT-4の長さチェック、そしてChatGPTのUIオーバーヘッドがシンプルなカウンターに表示されない部分。

• Claude・Anthropicのトークンカウント（近似値）

  ブラウザでラベル付きの推定値としてClaudeプロンプトの長さを把握する方法。Anthropicに静的なtiktoken相当物がない理由、コンテキストの計画の仕方、APIで検証すべきタイミングを解説します。

• Geminiトークンカウンター - 「近似」の意味

  長文を貼り付ける前にGeminiのトークン長を推定。Googleにブラウザ向けの公式エンコーディングがない理由、当サイトが不確実性をどう表示するか、Google AI Studioを信頼すべきタイミングを解説します。

• Python Tiktoken - エンコーディング、GPT長さ、ブラウザ確認

  Python tiktokenの役割、o200k_baseとcl100k_baseがGPTの長さにどう対応するか、IDEの外でブラウザのトークンカウンターで十分な簡易チェックができる場面を解説します。

• GPT-4oコンテキストウィンドウ、Max Tokens、128k使用率

  GPT-4oのmax tokensと128kが実務で意味すること—使用率、返答用の余裕、モデルが切り捨てや忘却する前に長文貼り付けを確認する方法を解説します。

• 単語数とトークンの相互変換 - 32k、128k、100万

  単語数 ↔ トークンの計画用比率：200トークン、32k、128k、100万トークンは何語相当か。固定比率の限界と、実際のテキストを貼ってカウントすべきタイミングを解説します。

• LLM・オンライントークンカウンター - ブラウザ内、ローカル、非アップロード

  優れたオンラインLLM/AIトークンカウンターに求められること：ローカルでカウント、OpenAI/Claude/Geminiモードの切り替え、推定値の明示—キーワード違いの重複ページの山ではなく。