Tiktokenと近似カウント - ブラウザガイド

すべてのベンダーが静的ページにそのまま入れられるブラウザ用トークナイザーを提供しているわけではありません。LLM TokenBaseはその区別を明確にしています。一部のモードは正確なエンコーディングを目指し、他は近似であり、その旨をラベルで示します。

tiktoken形式のモードでできること

OpenAI向けワークフローでは、ブラウザで利用可能な場合、o200k_baseやcl100k_baseなどのエンコーディングを使用します。これはGPT系APIが一般的に長さについて語る方法に最も近い公開マッチです。トークンカウンターを開き、OpenAI形式のモードに切り替えて確認してください。

すべてのベンダーに同じ精度は提供できない

AnthropicとGoogleは、静的ページ用の同等のエンコーディングを提供していません。同じカウンター上のClaudeとGeminiモードは実用的な推定値を提供しますが、近似バッジは常に表示されます。詳細はClaudeとGeminiのガイドを参照してください。

ラベルの読み方

正確モードの名前は、提供するエンコーディングに従います（例：「OpenAI (o200k)」）。マーケティング上のニックネームではありません。ブラウザマッピングのない新しいIDは方法論のノートに記載します。チャットラッパー、ツール、複数メッセージ形式は実際の使用量を変えることがあります。

重要な場合はAPIで検証

計画用のカウントは本サイトで行い、ハードリミットと請求書はプロバイダーのコンソールで確認してください。