토큰이란? AI 모델, API 및 컨텍스트 윈도우

대규모 언어 모델은 페이지 수나 영어 단어 수로 텍스트를 측정하지 않습니다. 문자열을 토큰으로 나눕니다. 토큰은 단어 전체, 단어 일부, 구두점, 공백, 코드 조각일 수 있습니다. 편집기에서 비슷해 보이는 두 프롬프트도 토큰화 후에는 크게 달라질 수 있습니다.

단어, 문자, 토큰

문자는 원문 길이입니다. 이 사이트의 단어 수는 공백 분할만 사용하며 중국어 형태소 분석이 아닙니다. 연속된 중국어는 단어 수는 낮고 문자 수는 높을 수 있습니다. 토큰은 대부분의 API와 컨텍스트 윈도우에서 사용하는 단위입니다. 밀집된 코드, 혼합 언어, 특수 Unicode는 세 가지 비율을 크게 바꿉니다.

요금과 윈도우가 토큰을 쓰는 이유

제공업체가 토큰으로 가격을 책정하고 잘라내는 이유는 모델 어휘가 그렇게 동작하기 때문입니다. 문자만 보면 긴 붙여넣기가 요청 실패나 모델이 이전 턴을 「잊는」 순간에 놀랄 수 있습니다.

카운터가 도움이 되는 때

컨텍스트 한도에 닿기 전, ChatGPT 입력창에 긴 글을 넣기 전, 큰 API 호출로 예산을 쓰기 전에 토큰 카운터를 사용하세요. GPT 계열 길이에는 OpenAI 형식(tiktoken) 모드를 우선하고, Claude와 Gemini는 라벨이 붙은 추정치로 취급하세요. 단어 수 브리프만 있으면 단어→토큰을, 채움 비율에는 컨텍스트 윈도우 계산기를 사용하세요.

「온라인 토큰 카운터」 검색과의 관계

AI token counter, LLM token counter, online token counter 같은 검색은 대개 같은 작업을 원합니다. 붙여넣고 길이를 읽는 것입니다. 비슷한 페이지를 여러 개 만드는 것보다 하나의 워크벤치로 이 의도를 다루는 편이 낫습니다. 벤더별 세부는 아래 가이드에 있습니다.