토큰(Token) / 토크나이저(Tokenization)
한 줄 정의
- 토큰(Token): 모델이 처리하는 입력·출력의 최소 단위
- 토크나이저(Tokenization): 텍스트를 토큰 단위로 쪼개는 규칙/모델
왜 중요한가(실무)
토큰은 실무에서 아래를 직접 좌우한다.
- 비용(대부분 입력/출력 토큰 단가 기반)
- 지연(입력 길이와 출력 길이가 길수록 느림)
- 컨텍스트 윈도우(한 번에 넣을 수 있는 양의 한계)
즉, 토큰을 모르면 “왜 갑자기 비용이 폭증했는지”를 설명하기 어렵다.
핵심 이론(필요한 만큼)
1) 토큰은 ‘단어’가 아니다
토큰은 단어/문자와 1:1 대응이 아니다.
- 언어에 따라 다르고(한국어는 대체로 토큰이 더 늘어나는 편)
- 공백, 특수문자, 코드 블록 등에 따라 토큰 수가 달라진다
2) 토크나이저가 바뀌면 비용/길이 감각도 바뀐다
같은 문장이라도 토크나이저에 따라 토큰 수가 달라질 수 있다.
따라서 “문서 길이”가 아니라 “토큰 길이”로 비용을 보는 습관이 필요하다.
실무 포인트
1) 비용 예측의 정답: 대표 샘플 측정
가장 현실적인 방법은 대표 업무 10건을 실제로 실행하고 다음을 기록하는 것이다.
- 입력 토큰(평균)
- 출력 토큰(평균)
- 수정 횟수(품질)
2) 토큰을 줄이는 3가지 습관
- 목표/근거/출력을 먼저 구조화(불필요한 지시 제거)
- 장문의 원문은 요약/분할(계층형 요약) 또는 RAG로 전환
- 출력 형식을 제한(표/항목 수/문장 수)
자주 생기는 오해
- 오해 1: “문서 1페이지면 토큰도 1페이지”
- 토큰은 페이지와 무관하다. 같은 페이지라도 형식/언어에 따라 크게 달라진다.
- 오해 2: 출력만 줄이면 비용이 줄어든다
- 입력 토큰이 더 큰 비용 요인이 되는 경우도 많다.