LLMTokenBase

토큰 계산 방식

모델은 페이지나 영어 단어 수가 아니라 토큰으로 텍스트를 측정합니다. 편집기에서 같은 길이로 보이는 두 문자열도 구두점, 코드, 비라틴 문자를 토크나이저가 나누면 크게 달라질 수 있습니다. 이 페이지는 LLM TokenBase가 브라우저에서 계산을 생성하는 방법과 숫자가 정확한지 근사인지 설명합니다.

OpenAI 계열 및 tiktoken 모드

가능할 때 OpenAI 지향 모드는 브라우저에서 tiktoken 호환 인코딩을 사용합니다. GPT 계열 API가 일반적으로 길이를 말하는 방식에 가장 가까운 공개 매칭입니다.

그래도 채팅 래퍼, 도구 호출, 다중 메시지 형식은 여기 붙여넣은 순수 텍스트를 넘는 토큰을 추가할 수 있습니다. 결과를 계획 가이드로 취급하세요.

Claude와 Gemini 근사

Claude·Gemini 지향 모드는 문서화된 근사 규칙을 사용하고 결과를 추정치로 표시합니다. 이 벤더들은 정적 페이지용 동등한 브라우저 인코딩을 제공하지 않습니다.

근사 배지는 의도적입니다. 라벨이 붙은 추정치가 조용한 거짓 정밀도보다 유용합니다.

단어 수, 문자 수, 과금

문자 수는 원문 문자열 길이입니다. 단어 수는 공백(스페이스, 탭, 줄바꿈)으로만 분할 — 언어학적 단어 분할이 아닙니다. 공백이 적은 연속 중국어는 단어 수는 낮고 문자 수는 높을 수 있으며 예상된 동작입니다. 이 두 지표는 편집 교차 확인에 도움이 되지만 대부분 API의 과금 단위는 아닙니다.

비용이 중요하면 제공업체에서 확인하세요. 카운터는 계획용, 청구서는 회계용입니다. 모델 패밀리별 정확한 WASM 인코딩이 확정되면 이 페이지를 확장합니다.

모델 ID와 인코딩

브라우저의 정확 모드는 o200k_base, cl100k_base 인코딩만 사용합니다. 현재 매핑되는 모델 ID: gpt-4o, gpt-4o-mini, gpt-4.1, gpt-4.1-mini, gpt-4, gpt-4-turbo, gpt-3.5-turbo, gpt-5, gpt-5-mini, o3, o3-mini, o4-mini. 브라우저 인코딩이 아직 없는 주시 ID(메모만; 정확 모드 이름은 OpenAI (o200k)처럼 인코딩 기준이며 GPT-5.6 같은 마케팅명이 아님): gpt-5.6, gpt-5.6-sol, gpt-5.6-terra, gpt-5.6-luna, gpt-5.4, gpt-5.4-mini.

최종 확인: 2026-07-12T06:24:47.112Z. 정확 모드는 배포하는 인코딩 이름을 유지합니다(예: 'OpenAI (o200k)'). gpt-5.6 같은 새 ID는 브라우저 인코딩이 있을 때까지 메모에만 표시 — 정확 모드 라벨을 마케팅 이름으로 바꾸지 않습니다.