본문으로 건너뛰기

온도(Temperature) / Top-p

← 용어 사전

한 줄 정의​

  • 온도(Temperature): 다음 토큰 선택의 “무작위성/다양성”을 조절하는 파라미터(높을수록 다양)
  • Top-p(Nucleus sampling): 누적 확률이 p가 될 때까지의 후보 토큰만 고려하는 샘플링 방식

왜 중요한가(실무)​

같은 프롬프트라도 온도/Top-p 설정에 따라 결과가 바뀐다.

  • 정책 요약/숫자 표 같은 업무는 “일관성”이 중요하다
  • 아이데이션(카피/이름/아이디어)은 “다양성”이 중요하다

즉, 파라미터는 취향이 아니라 업무 유형별 운영 설정이다.

핵심 개념(직관)​

1) 온도가 낮으면​

  • 더 결정적(deterministic)이고 비슷한 답이 반복되기 쉽다
  • 대신 창의적 변형이 줄어들 수 있다

2) 온도가 높으면​

  • 표현이 다양해지고 아이디어가 늘 수 있다
  • 대신 사실/숫자/정책 문장에서 흔들릴 수 있다

3) Top-p는 “후보 폭”을 제한한다​

확률이 높은 후보만 뽑아 쓰게 해서, 이상한 토큰이 섞일 가능성을 줄이는 데 도움이 될 수 있다.

실무 권장 접근​

  • 업무 유형별 기본값을 정한다(예: 정책/보고서는 낮게, 아이데이션은 중간)
  • 대외 문서는 출력의 다양성보다 “근거/톤/검토”를 우선한다
  • 파라미터도 변경 이력과 평가(Eval) 대상에 포함한다(운영 안정성)