거버넌스(Governance)
한 줄 정의
거버넌스(Governance)는 조직이 AI를 도입·운영할 때 누가, 무엇을, 어떤 기준으로 결정·승인·감독하는지를 정한 정책·역할·프로세스 체계다.
왜 중요한가(실무)
AI 도구를 팀에 도입하는 것은 어렵지 않다. 하지만 조직 전체가 일관되고 안전하게 AI를 사용하려면 거버넌스가 반드시 필요하다.
첫째, 책임 소재 명확화다. AI가 만든 보고서에 오류가 있을 때, 고객에게 잘못된 안내가 나갔을 때, 민감 데이터가 외부 API로 전송되었을 때 — 누가 책임지는가? 거버넌스 없이는 "AI가 한 거니까"라는 회피가 발생한다. 역할(RACI)과 승인 체계가 정의되어야 책임이 작동한다.
둘째, 일관성 확보다. 부서마다 다른 AI 도구를 다른 방식으로 쓰면, 보안 수준·품질 기준·비용 관리가 제각각이 된다. 조직 차원의 정책(허용 도구 목록, 데이터 입력 범위, 출력 검토 절차 등)이 있어야 혼란을 줄인다.
셋째, 규제 대응이다. EU AI Act, 국내 AI 기본법(안) 등은 고위험 AI에 대해 문서화된 관리 체계를 요구한다. ISO/IEC 42001(AI 경영시스템)도 거버넌스 구조를 핵심 요구사항으로 포함한다. 거버넌스를 미리 갖추면 규제 대응 비용이 크게 줄어든다.
핵심 이론(직관)
1) AI 거버넌스의 세 기둥
- 정책(Policy): 무엇이 허용되고, 무엇이 금지되는가. 예) "고객 개인정보를 외부 LLM API에 직접 입력하지 않는다."
- 역할(Roles): 누가 결정하고, 누가 실행하고, 누가 감독하는가. RACI로 정의한다.
- 프로세스(Process): 새 AI 도구 도입, 프롬프트 변경, 사고 대응 등의 절차. 승인 흐름과 기록 방식을 포함한다.
2) 거버넌스 수준: 조직 규모에 맞게
- 소규모 조직(10명 이하): 정책 문서 1장 + 책임자 1명 + 주간 리뷰면 충분하다.
- 중규모 조직(10~100명): 부서별 AI 담당자 + 분기별 감사 + 표준 프롬프트/도구 목록.
- 대규모 조직(100명 이상): 전담 AI 거버넌스 위원회 + 위험 등급별 승인 절차 + 자동화된 모니터링.
핵심은 "거버넌스 = 관료주의"가 아니라는 것이다. 조직 규모에 맞는 최소한의 구조를 갖추는 것이 목표다.
3) 거버넌스와 혁신의 균형
지나친 통제는 AI 활용을 위축시킨다. "승인 3단계를 거쳐야 프롬프트 하나를 바꿀 수 있다"면 아무도 쓰지 않는다. 위험 등급에 따라 통제 수준을 차등 적용하는 것이 핵심이다. 저위험 업무는 자율에 맡기고, 고위험 업무에만 엄격한 승인을 적용한다.
실무 포인트
1) 최소 거버넌스 문서 구성
어떤 조직이든 아래 항목은 문서화해야 한다:
- 허용 도구 목록: 어떤 AI 도구/API를 쓸 수 있는가
- 데이터 입력 범위: 어떤 데이터를 AI에 넣어도 되는가 (등급별)
- 출력 검토 기준: 어떤 업무의 AI 출력은 반드시 사람이 검토하는가
- 사고 대응 절차: AI 오류/오남용 발생 시 누구에게 보고하고, 어떻게 처리하는가
- 변경 관리: 프롬프트/도구/정책 변경 시 누가 승인하는가
2) 거버넌스 도입 순서
- 현재 AI 사용 현황을 파악한다 (누가, 어떤 도구를, 어떤 업무에).
- 위험 등급을 분류한다 (고/중/저).
- 고위험 업무부터 정책·역할·프로세스를 정의한다.
- 정기 리뷰 주기를 정한다 (최소 분기 1회).
- 정책을 전 직원에게 공유하고, 교육한다.
체크리스트
- 조직 내 AI 사용 현황(도구·업무·부서)을 파악했는가
- 허용 AI 도구/서비스 목록이 정의되어 있는가
- 데이터 입력 범위(어떤 데이터를 AI에 넣을 수 있는지)가 명시되어 있는가
- AI 출력 검토가 필요한 업무 범위가 정의되어 있는가
- AI 관련 의사결정 역할(RACI)이 지정되어 있는가
- 사고 대응(오류/오남용) 절차가 문서화되어 있는가
- 정책·역할·프로세스를 정기적으로 리뷰하는 주기가 있는가