KPI/ROI

← 용어 사전

한 줄 정의

• KPI(Key Performance Indicator): 목표 달성 여부를 판단하는 성과 지표
• ROI(Return on Investment): 투자 대비 성과(비용 대비 효과)

왜 중요한가(AX 전환에서)

AI는 “성능(quality)·비용(cost)·리스크(risk)”가 같이 움직인다.
측정이 없으면 조직은 아래 중 하나로 흐르기 쉽다.

• 데모는 성공인데, 현장에선 안 씀(효과 불명)
• 사용은 늘었는데, 사고/오류도 같이 늘어남(리스크 폭증)
• 비용이 예상보다 빠르게 증가(토큰/벤더/운영 비용)

KPI/ROI는 “AI를 얼마나 쓰느냐”가 아니라 조직 성과로 연결되는지를 확인하는 장치다.

KPI를 어떻게 잡을까(실무형)

1) 업무를 먼저 고정한다

예: 회의록, 주간보고, 고객 FAQ, 정책 문서 초안

2) 지표는 1~3개로 시작한다

지표가 많으면 아무도 측정하지 않는다.

• 시간: 평균 처리 시간, 재작업 시간
• 품질: 숫자 오류율, 정책 위반 건수, 승인 반려율
• 일관성: 템플릿 준수율, 용어/표현 통일
• 리스크: 민감정보 입력 시도 건수, 대외 문서 사고 건수
• 비용: 월 토큰 비용, 사용자당 비용, 초과 비용

3) 기준선(Baseline)을 먼저 만든다

“샘플 10건”만으로도 시작할 수 있다.
AI 도입 전후를 같은 조건에서 비교할 수 있게 기록한다.

ROI를 계산할 때 놓치기 쉬운 것

1) ‘절감’만 보지 말고 ‘회피’를 본다

AI 사고를 막는 기준/로그/승인 체계는 비용이지만, 큰 사고를 회피하는 효과가 있다.

2) 운영비는 누적된다

템플릿/프롬프트/문서 버전 관리, 평가(Eval), 로그 리뷰 같은 운영이 없으면 품질이 무너진다.
운영비를 숨기면 ROI는 과대평가된다.

3) 비용은 토큰만이 아니다

API/구독료 외에도 보안/법무/교육/변화관리 비용이 같이 든다.

실무 체크리스트

• KPI가 “업무” 단위로 정의되어 있는가
• 기준선(샘플 10~30건)이 기록되어 있는가
• 대외/고위험 업무는 품질 지표(오류율/반려율)가 포함되어 있는가
• 비용(토큰/구독료/운영시간)이 월 단위로 추적되는가