챗GPT 거짓 정보 걸러내는 법 — AI 환각 확인 4단계

AI가 자주 지어내는 다섯 가지 [01]

유형	내용
① 숫자	통계·비율·금액을 그럴듯하게 만듭니다
② 출처	없는 논문·기사·보고서를 인용합니다
③ 법 조문	조문 번호와 내용이 맞지 않습니다
④ 인용문	한 적 없는 말을 누군가의 발언으로
⑤ 기능·명령어	존재하지 않는 함수나 설정을 안내

공통점이 있습니다. 모두 '구체적이어서 믿음이 가는' 형태입니다. "2024년 기준 37.2%"처럼 정확해 보입니다. 그래서 확인 없이 그대로 쓰게 됩니다.

가장 자주 겪는 두 가지

출처가 첫 번째입니다. 존재하지 않는 논문 제목과 저자, 없는 보고서 이름이 그럴듯하게 나옵니다. 검색해 보면 안 나옵니다.

법 조문이 두 번째입니다. 조문 번호는 실제로 있는데 내용이 다르거나, 내용은 맞는데 번호가 틀린 경우가 많습니다.

법 조문은 반드시 국가법령정보센터에서 확인하십시오. 조문을 잘못 인용하면 그 문서 전체의 신뢰가 무너집니다.

왜 이런 일이 생기나

지어내는 이유 [02]

원인	내용
답을 만드는 구조	다음에 올 말을 예측하는 방식으로 작동합니다
모른다고 하기 어려움	빈칸보다 그럴듯한 답을 채우려 합니다
확신에 찬 어조	틀릴 때도 똑같이 자신 있게 말합니다
학습 시점의 한계	최신 정보나 국내 사정은 특히 약합니다

세 번째가 가장 위험합니다

사람은 자신 없을 때 말투가 흔들립니다. "아마도", "제 기억으로는" 같은 표현이 나옵니다. 그런데 AI는 맞을 때와 틀릴 때의 어조가 같습니다.

그래서 어조로는 판단할 수 없습니다. "확실합니다"라고 해도 확실하지 않을 수 있습니다.

걸러내는 4단계

검증 4단계 [03]

단계	내용
1	구체적일수록 의심 — 숫자와 출처가 나오면 표시해두기
2	출처를 되물어보기 — "어디서 확인할 수 있나요"
3	직접 검색해 확인 — 원 자료를 찾아 대조
4	다시 물어 교차 확인 — 새 대화에서 같은 질문

2단계 — 출처를 되물어보십시오

방금 말씀하신 내용의 출처를 알려주세요. 확인할 수 있는 자료가 없다면 그렇게 밝혀 주세요.

이렇게 물으면 상당수가 "확인이 필요합니다"로 물러섭니다. 물러선 항목이 곧 의심해야 할 부분입니다.

4단계 — 새 대화에서 다시 물어보십시오

의외로 효과적입니다. 새 대화를 열어 같은 질문을 던져보십시오. 답이 달라지면 그 부분은 확실하지 않다는 뜻입니다.

일관되게 같은 답이 나오면 상대적으로 신뢰할 만합니다. 다만 이것도 절대적인 기준은 아닙니다. 같은 오류를 반복할 수도 있습니다.

애초에 줄이는 방법

예방 방법 [04]

방법	요청 문구
자료를 함께 주기	알고 있는 것으로 답하게 하지 말 것
범위 제한	"제가 준 자료 안에서만 답해주세요"
불확실 표시 요구	"확실하지 않으면 그렇게 밝혀주세요"
출처 요구	"어느 부분을 근거로 했는지 표시"
계산 과정 요구	"과정을 함께 보여주세요"

범위 제한이 핵심입니다

아래 자료만 근거로 답해 주세요. [자료] (붙여넣기) [질문] (질문 내용) [규칙] - 자료에 없는 내용은 "자료에서 확인되지 않음"이라고 써주세요 - 일반 지식으로 보충하지 마세요 - 각 답변이 자료의 어느 부분에서 왔는지 표시해 주세요

"일반 지식으로 보충하지 마세요"가 중요합니다. 이 문장이 없으면 AI가 자료의 빈 곳을 알아서 채웁니다. 그리고 그 부분이 지어낸 내용입니다.

특히 위험한 상황

상황	왜 위험한가
최신 정보를 물을 때	학습 이후 내용은 모릅니다
국내 법령·제도	해외 사례와 섞이는 경우가 있습니다
구체적 수치	가장 자주 지어내는 항목입니다
잘 모르는 분야	틀려도 알아차리기 어렵습니다
급할 때	확인을 건너뛰게 됩니다

마지막 항목을 조심하십시오

사고는 대체로 급할 때 납니다. 시간이 없으니 확인을 생략하고, 그럴듯하니 그대로 씁니다.

급할수록 확인하십시오. 급해서 넘어간 내용이 나중에 훨씬 큰 시간을 잡아먹습니다.

잘 모르는 분야는 특히 위험합니다

내가 아는 분야에서는 AI가 틀리면 금방 알아차립니다. 그런데 모르는 분야에서는 틀린 줄도 모릅니다.

내가 검증할 수 없는 영역이라면, AI 답변을 참고 자료로만 쓰고 전문가나 공식 자료로 확인하십시오.

자주 묻는 질문

질문	답
최신 모델은 안 그런가요?	줄어들지만 완전히 없어지지는 않습니다.
검색 기능이 있으면 괜찮나요?	나아지지만 검색 결과 해석에서도 오류가 납니다.
출처를 대면 믿어도 되나요?	아닙니다. 출처 자체를 지어낼 수 있습니다.
어떻게 확인하나요?	원 자료를 직접 찾아보십시오.
왜 사과하고 또 틀리나요?	이전 대화를 근거로 재추론하기 때문입니다.
그럼 못 믿는 건가요?	초안과 아이디어에는 유용합니다. 사실 확인이 필요할 뿐입니다.

정리

기억할 것

숫자·출처·법 조문을 가장 자주 지어낸다

어조로는 판단할 수 없다 — 틀릴 때도 자신 있게 말한다

"제가 준 자료 안에서만"이 가장 효과적인 예방책이다

새 대화에서 다시 물어 답이 같은지 본다

급할 때가 가장 위험하다

마치며

이 글이 AI를 쓰지 말라는 뜻은 아닙니다. 초안을 잡고, 구조를 만들고, 아이디어를 얻는 데는 분명 유용합니다.

다만 사실 확인만큼은 사람이 해야 합니다. 특히 밖으로 나가는 문서라면 더 그렇습니다.

가장 실용적인 조언 하나를 드리자면, "제가 준 자료 안에서만 답해주세요"를 습관처럼 붙이십시오. 이 한 줄이 지어내는 것을 크게 줄입니다.

그리고 숫자와 출처는 무조건 확인하십시오. 그 두 가지만 확인해도 대부분의 사고를 막을 수 있습니다.

이 글은 실제 사용 경험을 바탕으로 정리한 것으로, 서비스와 모델에 따라 정확도가 다를 수 있습니다. AI가 생성한 내용은 반드시 원 자료로 확인한 뒤 사용하시고, 법령·의료·금융 등 전문 영역은 해당 전문가와 상의하시기 바랍니다.

태그
#AI환각 #챗GPT정확도 #할루시네이션 #팩트체크 #AI검증 #프롬프트 #생성형AI #AI실무 #정보확인 #업무활용