AI 챗봇·생성형 AI 도입 전 개인정보 체크리스트 다섯 가지

 

AI 챗봇·생성형 AI 도입 전 개인정보 체크리스트 다섯 가지

고객 문의 응대에 챗봇을 붙이거나, 사내 업무에 생성형 AI를 도입하는 조직이 빠르게 늘고 있습니다. 그런데 개인정보 관점에서 검토하지 않고 도입하는 경우가 대부분입니다.

이 글에서는 도입 전에 반드시 확인해야 할 다섯 가지를 정리하겠습니다.

목차

1. 왜 AI가 특별히 문제인가

2. 도입 전 확인할 다섯 가지

3. 외부 AI API를 쓴다면

4. 자유 입력창이 가장 위험합니다

5. 계약서에 넣어야 할 것

6. 자동화된 결정 문제

7. 점검 체크리스트

왜 AI가 특별히 문제인가

기존 시스템과 다른 점이 몇 가지 있습니다.

특징	위험
자유 입력	무엇이 들어갈지 통제하기 어려움
외부 API 의존	데이터가 외부로 나감
학습 가능성	입력한 데이터가 모델에 남을 수 있음
블랙박스	왜 그런 답이 나왔는지 설명이 어려움
빠른 도입	현업이 먼저 쓰기 시작하는 경우가 많음

특히 마지막이 문제입니다. 보안팀이 알기 전에 이미 쓰고 있는 경우가 흔합니다. 앞서 정보자산 목록 글에서 다룬 ‘부서가 자체 도입한 SaaS’와 같은 상황입니다.

도입 전 확인할 다섯 가지

AI 도입 전 확인할 다섯 가지  |  업로드 파일 : u1.png

① 무엇이 입력되는가

프롬프트에 개인정보가 들어가는지 확인하십시오. 고객 문의 내용을 그대로 넣는 챗봇이라면 이름·연락처·주문번호가 함께 들어갑니다.

② 어디로 나가는가

외부 API를 호출한다면 처리 위탁에 해당할 수 있고, 서버가 해외라면 국외 이전까지 검토해야 합니다.

③ 학습에 쓰이는가

입력한 데이터가 모델 재학습에 사용되는지 확인하십시오. 사용된다면 사실상 통제를 벗어납니다. 기업용 요금제에서 학습 제외 옵션을 제공하는 경우가 많으니 계약 조건을 확인하십시오.

④ 기록이 남는가

입력과 응답 로그가 어디에 얼마나 보관되는지 확인하십시오. 로그에도 개인정보가 남습니다.

⑤ 자동으로 결정하는가

AI가 사람 개입 없이 심사·거절·등급 판정을 한다면 자동화된 결정 관련 권리를 검토해야 합니다.

외부 AI API를 쓴다면

외부 AI API 이용 시 검토 사항  |  업로드 파일 : u2.png

대부분의 해외 AI 서비스는 처리 위탁과 국외 이전 두 가지 모두에 해당합니다.

구분	해야 할 일
처리 위탁	위수탁 계약 체결, 처리방침에 공개, 수탁사 점검
국외 이전	서버 위치 확인, 근거 확보(동의 등), 처리방침에 공개

국내 업체를 통해 쓰더라도 실제 인프라가 해외일 수 있습니다. 재판매 형태라면 원 서비스 제공자가 누구인지, 데이터가 어디서 처리되는지를 문서로 확인하십시오.

자유 입력창이 가장 위험합니다

챗봇의 입력창은 무엇이 들어올지 예측할 수 없습니다. 이용자가 주민번호나 계좌번호를 그냥 적는 경우가 실제로 발생합니다.

대응	내용
입력 필터	주민번호·카드번호 패턴을 탐지해 차단
안내 문구	입력창에 '개인정보를 입력하지 마세요' 표시
마스킹	전송 전 민감 패턴을 가림
로그 정제	저장 전 개인정보 제거
사내 이용 규칙	직원이 무엇을 넣어도 되는지 명시

사내 이용 규칙이 특히 중요합니다. 직원이 고객 명단을 붙여넣고 “요약해줘”라고 하는 순간 유출이 됩니다. 규칙을 만들고 교육에 포함하십시오.

계약서에 넣어야 할 것

조항	내용
데이터 처리 위치	어느 국가·리전에서 처리되는가
학습 사용 여부	입력 데이터의 모델 학습 사용 금지
보관 기간	로그와 입력 데이터의 보관 기간
재위탁	하위 처리자 목록과 변경 시 통지
삭제 요구	요청 시 데이터 삭제 절차
보안 조치	암호화·접근통제 수준
감사권	점검·자료 제출 요구 근거

앞서 다룬 위수탁 계약서의 필수 조항에 더해, 위 항목들을 추가로 확인하시면 됩니다.

자동화된 결정 문제

AI가 사람의 개입 없이 완전히 자동으로 결정을 내린다면, 정보주체가 이를 거부하거나 설명을 요구할 수 있는 권리가 문제 될 수 있습니다.

예시	검토 필요성
대출·보험 심사 자동 판정	높음
채용 서류 자동 선별	높음
콘텐츠 추천	서비스 성격에 따라 검토
단순 문의 응답	낮음

이 영역은 제도가 구체화되어 온 단계입니다. 적용 대상 판단과 대응 방법은 개인정보보호위원회의 최신 안내를 확인하십시오.

점검 체크리스트

항목	확인
입력 데이터에 개인정보가 포함되는가 확인했는가	☐
외부 API 사용 시 처리 위탁 검토를 했는가	☐
서버 위치(국외 이전 여부)를 확인했는가	☐
학습 사용 여부를 계약으로 제한했는가	☐
로그 보관 위치와 기간을 확인했는가	☐
입력 필터나 마스킹을 적용했는가	☐
사내 이용 규칙을 만들고 교육했는가	☐
처리방침에 반영했는가	☐
자동화된 결정 해당 여부를 검토했는가	☐
현업이 이미 쓰고 있는 AI 도구를 파악했는가	☐

마치며

AI 도입에서 가장 흔한 실수는 “일단 써보고 나중에 검토하자”입니다. 그런데 한번 데이터가 나가면 되돌릴 수 없습니다.

반대로 지나치게 막기만 하면 현업이 몰래 쓰기 시작합니다. 그게 더 위험합니다. 안전하게 쓸 수 있는 경로를 만들어 주는 것이 현실적인 방향입니다.

이 글은 공개된 법령·고시와 실무 경험을 바탕으로 정리한 일반 정보이며, 법률자문이 아닙니다. 기준과 수치는 개정될 수 있으므로 국가법령정보센터와 개인정보보호위원회·KISA의 최신 자료를 확인하시고, 중요한 사안은 전문가 자문을 받으시기 바랍니다.

태그
#AI개인정보 #생성형AI #챗봇 #개인정보위탁 #국외이전 #자동화된결정 #보안실무 #컴플라이언스