본문으로 건너뛰기

컨텍스트 윈도우(Context Window)

← 용어 사전

한 줄 정의​

컨텍스트 윈도우(Context Window)는 모델이 한 번의 요청에서 참고할 수 있는 입력(및 일부 출력 포함) 토큰 길이의 한계다.

왜 중요한가(실무)​

컨텍스트 윈도우를 모르면 다음 문제가 반복된다.

  • 긴 문서를 “그냥 다 넣었는데” 일부가 무시/잘림
  • 장기 대화에서 초반 조건이 누락되어 정책 위반/톤 붕괴
  • 컨텍스트를 키우면 해결될 줄 알았는데 비용/지연이 폭증

핵심 이론(실무형)​

1) ‘많이 넣는 것’과 ‘잘 넣는 것’은 다르다​

입력이 길어질수록

  • 비용과 지연이 늘고
  • 중요한 정보가 묻힐 수 있고
  • 모델이 근거를 잘못 잡을 수 있다

2) 컨텍스트 윈도우가 크면 무엇이 좋아지나​

  • 더 긴 문서/대화를 한 번에 넣을 수 있다(편의)
  • RAG에서 “근거 문서”를 더 많이 붙일 수 있다(하지만 과하면 역효과)

3) 컨텍스트 윈도우가 커도 RAG가 필요한 이유​

조직 지식은 계속 바뀐다(정책/가격/규정/FAQ).
컨텍스트로 매번 전체를 넣는 것은 비효율적이고, 최신성 관리가 어렵다.
RAG는 “필요한 근거만” 최신 버전으로 가져오는 운영 방식이다.

실무 대응 패턴​

  • 계층형 요약: 문서를 부분 요약 → 합쳐서 최종 요약
  • RAG: 최신 문서를 검색해 필요한 근거만 컨텍스트에 포함
  • 입력 규격화: 목표/근거/제약/출력을 템플릿으로 고정

자주 생기는 오해​

  • 오해 1: 컨텍스트가 크면 환각이 사라진다
    • 근거가 있어도 잘못 읽거나 잘못 종합할 수 있다. 검토가 필요하다.
  • 오해 2: 컨텍스트를 크게 하면 운영이 쉬워진다
    • 비용/지연/정보 과잉 문제가 커질 수 있다.