시대 공유 · AI 시대에 살 준비가 되었는가

AI가 틀릴 때: 그럴듯한 거짓말 알아보기

시대 공유 AI 시대에 살 준비가 되었는가 5편 · 오마주 매거진 · 2026년 10월 28일

2025년 5월, 미국의 한 일간지가 '여름에 읽을 책' 열다섯 권을 실었습니다. 그런데 그 가운데 **열 권은 세상에 없는 책**이었습니다. AI가 지어낸 제목을 아무도 확인하지 않은 것입니다. 오늘은 이런 '그럴듯한 거짓말'을 알아보는 법입니다.

'환각'이란 무엇인가

AI가 사실이 아닌 것을 사실처럼 말하는 것을 '환각'이라고 부릅니다. 없는 책, 없는 판례, 틀린 날짜를 아주 자연스러운 문장으로 내놓습니다.

AI는 머릿속 백과사전을 펼쳐 읽는 것이 아닙니다. 수많은 글을 익혀 다음에 올 법한 말을 이어 붙입니다. 그래서 모르는 것도 아는 것처럼 매끄럽게 말할 수 있습니다.

챗GPT를 만든 OpenAI도 2025년 9월 논문에서 그 까닭을 짚었습니다. AI를 가르치고 채점하는 방식이 '모른다'고 답하기보다 찍는 쪽에 점수를 더 주기 때문이라는 것입니다.

시험 찍기와 같습니다OpenAI가 든 예입니다. 누군가의 생일을 모를 때 아무 날짜나 대면 365분의 1 확률로 맞힙니다. '모른다'고 쓰면 늘 0점입니다. 맞힌 개수로만 채점하면, 찍는 쪽이 점수가 더 높게 나옵니다.

챗GPT·제미나이·클로드·클로바X, 어느 회사의 AI든 마찬가지입니다. 좋아지고는 있지만 틀리지 않는 AI는 아직 없습니다.

막힘없이 술술 나오는 대답일수록, 이름·숫자·날짜는 한 번 더 보세요. 사진: Pixel.la · CC0 · 위키미디어 공용

실제로 있었던 일 · 없는 책

2025년 5월 18일, 미국 「시카고 선타임스」에 실린 여름 추천 도서 목록입니다. 열다섯 권 가운데 열 권이 없는 책이었습니다.

예를 들어 칠레 작가 이사벨 아옌데의 『타이드워터 드림스』가 소개됐지만, 아옌데는 그런 책을 쓴 적이 없습니다. 작가는 진짜인데 책만 가짜였던 것입니다.

이 목록은 신문사가 외부 협력사에서 받아 실은 특집이었습니다. 글을 쓴 외부 필자는 AI가 만든 목록을 확인하지 않았다며 잘못을 인정했습니다.

실제로 있었던 일 · 없는 판례

2023년 미국 뉴욕의 변호사들이 항공사 소송 서면에 판결 여섯 건을 인용했습니다. 챗GPT가 찾아 준 것이었는데, 여섯 건 모두 없는 판결이었습니다.

법원은 2023년 6월 22일 변호사 두 명과 그 법률사무소에 5,000달러의 벌금을 물렸습니다. 이른바 '아비앙카 사건'입니다.

우리나라 법정에도 AI가 지어낸 판례가 잇따라 제출됐습니다. 법원행정처는 2026년 2월 사법정보공개포털에 '허위 사건번호 확인' 기능을 넣었습니다.

2026년 3월 31일에는 이런 서면을 낸 쪽에 소송비용을 물리거나 변호사 징계를 의뢰할 수 있게 하는 대응 방안을 내놓았습니다.

실제로 있었던 일 · 틀린 안내

캐나다의 한 남성은 할머니 상을 당해 비행기 표를 사면서 항공사 누리집의 AI 상담원에게 물었습니다. 상담원은 '표를 산 뒤 90일 안에 신청하면 유족 할인을 받을 수 있다'고 안내했습니다.

실제 규정은 달랐습니다. 2024년 2월 캐나다 분쟁조정 기관은 AI 상담원의 말도 회사가 책임져야 한다며 항공사에 차액 등 812캐나다달러를 물어 주라고 결정했습니다.

얼마나 자주 틀리나

유럽방송연맹(EBU)과 영국 BBC가 18개 나라 22개 공영방송과 함께 AI 네 가지에 뉴스를 물었습니다. 기자들이 3,000개 넘는 대답을 하나하나 따져 봤습니다.

AI에게 뉴스를 물었더니
중대한 문제가 하나라도 있었다	45%
출처가 없거나 틀렸다	31%
지어내거나 낡은 내용이 있었다	20%

자료: 유럽방송연맹(EBU)·BBC 「News Integrity in AI Assistants」(2025년 10월) · 챗GPT·코파일럿·제미나이·퍼플렉시티 대상

특히 눈여겨볼 것은 출처 문제입니다. 출처를 아예 달지 않거나, 엉뚱한 곳을 출처로 단 대답이 열에 셋이었습니다. 출처가 붙어 있다고 다 믿을 수는 없다는 뜻입니다.

이럴 때 의심하세요

그럴듯한 거짓말의 다섯 가지 신호① 책 제목·판례 번호·법 조항이 너무 딱 떨어지게 나온다 ② 출처를 물으면 흐릿하게 넘어가거나 열리지 않는 주소를 준다 ③ '정말이야?' 하고 되물으면 말이 바뀐다 ④ 날짜·값·영업시간처럼 바뀌기 쉬운 것을 단정한다 ⑤ 내가 듣고 싶던 대답이 너무 시원하게 나온다

특히 '정말이야?'에 금방 '죄송합니다, 제가 틀렸습니다' 하고 다른 답을 내놓는다면, 처음 대답도 나중 대답도 둘 다 확인이 필요합니다.

이렇게 바꿔 보세요 · 책 추천전 — '가을에 읽을 에세이 다섯 권 추천해 줘.' / 후 — '가을에 읽을 에세이 다섯 권 추천해 줘. 실제로 나온 책만, 지은이·출판사·나온 해를 함께 적고, 확실하지 않으면 모른다고 말해 줘.'

이렇게 물어도 틀릴 수는 있습니다. 다만 출판사와 나온 해가 붙어 있으면 확인하기가 훨씬 쉬워집니다.

세 단계 확인법

하나 · 근거를 묻는다'어디에 나온 내용이야? 출처를 알려 줘.' 출처를 못 대거나 얼버무리면 그 대답은 일단 참고만 합니다.

둘 · 직접 열어 본다AI가 준 주소를 눌러 그 말이 정말 거기 있는지 봅니다. 책은 서점·도서관 검색으로, 판례는 사법정보공개포털로, 값과 일정은 공식 누리집에서 확인합니다.

셋 · 다른 곳과 견준다다른 AI에게 같은 것을 묻거나, 검색으로 기사 두 곳을 찾아 맞춰 봅니다. 건강·돈·법이라면 마지막은 전문가에게 묻습니다.

모든 대답을 이렇게 따질 필요는 없습니다. 저녁 반찬이나 축하 문자는 그냥 쓰셔도 됩니다. 이름·숫자·날짜가 결정에 쓰일 때만 세 단계를 거치면 됩니다.

예를 들면 · 연금 문의AI가 '○○년부터 바뀐 규정에 따라 이렇게 받습니다'라고 답했다면 → ① 어느 기관 발표인지 묻고 ② 그 기관 누리집에서 직접 찾아보고 ③ 그래도 헷갈리면 해당 기관 상담 전화로 확인합니다.

걱정도 함께 커졌다

방송미디어통신위원회와 정보통신정책연구원 조사에서 생성형 AI에 대한 걱정이 1년 사이 모두 커졌습니다. 가장 많이 늘어난 것이 허위정보였습니다.

1년 새 더 늘어난 AI 걱정
허위정보 퍼뜨리기	9.6%p
범죄에 쓰이기	9.0%p
진짜·가짜 구별이 어려운 콘텐츠	8.9%p

자료: 방송미디어통신위원회·정보통신정책연구원 「2025년 지능정보사회 이용자 패널조사」(2026년 5월 발표, 만 18~72세 4,324명)

걱정이 커졌다는 것은 나쁜 소식만은 아닙니다. 그만큼 많은 사람이 AI의 말을 한 번 더 따져 보기 시작했다는 뜻이기도 합니다.

목소리도 흉내 냅니다

AI는 글만 지어내지 않습니다. 금융감독원은 2026년 2월 1일, AI로 만든 아이 우는 목소리를 들려주며 돈을 요구하는 전화 사기에 '주의' 소비자경보를 냈습니다.

가족 목소리로 급한 돈을 말하는 전화가 오면 일단 끊고, 그 가족에게 직접 전화해 확인하세요. 끊지 못하게 붙잡는 전화라면 사기를 의심해도 됩니다. 이 이야기는 다음 편에서 자세히 다룹니다.

오늘 해 볼 것쓰시는 AI에게 '○○ 작가의 책 세 권 알려 줘'라고 물어보세요. 좋아하는 작가면 더 좋습니다. 나온 제목을 서점 누리집에서 하나씩 찾아보면, AI를 어디까지 믿을지 감이 잡힙니다.

생각해 볼 점환각은 줄어드는 중이고, AI마다·질문마다 틀리는 정도가 다릅니다. 이 글의 사례가 지금 쓰시는 AI에 그대로 일어난다는 뜻은 아닙니다.
EBU·BBC 조사는 2025년 당시 AI 네 가지에 뉴스를 물은 결과입니다. 요리·여행처럼 다른 주제의 정확도와는 다를 수 있습니다.
걱정 도표는 늘어난 폭만 보여 줍니다. 공개된 보도에 전체 응답 비율이 나와 있지 않아 몇 퍼센트가 걱정하는지는 싣지 않았습니다.

출처: OpenAI, 「Why language models hallucinate」 (2025.9.5) · Kalai·Nachum·Vempala·Zhang, 「Why Language Models Hallucinate」, arXiv:2509.04664 (2025.9.4) · CBS News Chicago, 「"Summer reading list" with AI-generated titles of books that don't exist runs in Chicago Sun-Times」 (2025.5.20) · 10News, 「Fact or Fiction: Summer reading list full of AI-generated titles that don't exist」 (2025.5.21) · GIGAZINE, 「Newspaper publishes AI-generated reading list, recommending non-existent books」 (2025.5.23) · Bloomberg Law, 「Phony ChatGPT Brief Leads to $5,000 Fine for NY Lawyers」 (2023.6.22) · Reuters(야후 뉴스 전재), 「New York lawyers sanctioned for using fake ChatGPT cases in legal brief」 (2023.6.22) · 헤럴드경제, 「판사에 제출된 판례·증거, AI가 만든 가짜였다…법원, 소송비용 독박, 변호사 징계 의뢰 방안 제시」 (2026.3.30) · 세계일보, 법원행정처 'AI 활용 허위 주장·증거 제출 대응 TF' 결과 보도 (2026.3.31) · 한국경제, 「AI, 있지도 않은 사건번호 생성」 (2026.8.2) · Daily Hive, 「Air Canada ordered to pay customer after airline's chatbot misguided him about fares」 (2024.2.15) · MobileSyrup, 「Air Canada has to pay for chatbot mistake」 (2024.2.16) · 유럽방송연맹(EBU), 「News Integrity in AI Assistants」 (2025.10) · AIB, 「AI assistants misrepresent news content, says major study」 (2025.10) · journalism.co.uk, 「Nearly half of AI-generated answers contain an error, finds EBU-BBC report」 (2025.11) · Computerworld, 「AI chatbots are wrong about news 45% of the time」 (2025.10) · 아이티데일리, 「AI 이용률 39%로 급증…허위정보 우려도 커졌다」 (2026.5, 「2025년 지능정보사회 이용자 패널조사」) · 데일리안, 「“국민 10명 중 4명 생성형 AI 사용”…허위정보·범죄 악용 우려도 커져」 (2026.5.28) · 파이낸셜뉴스, 「2025년 지능정보사회 이용자 패널조사」 보도 (2026.5.28) · 헤럴드경제, 「“엄마 흑흑 살려줘” 학원 간 아이의 울음 소리, 알고 보니 정체는?」 (2026.1.31, 금융감독원 소비자경보) · 시대일보, 금융감독원 보이스피싱 소비자경보(주의) 보도 (2026.2.1)

※ 이 연재는 AI가 공개된 자료를 모아 정리하고, 오마주 매거진이 출처를 대조해 싣습니다. 숫자는 기준 시점의 자료이며 다소 오류가 있을 수 있습니다. 바로잡을 곳은 jmp159877@gmail.com 으로 알려 주시면 확인해 고치겠습니다.

AI 시대에 살 준비가 되었는가 연재 전체 보기 ›

오늘의 오마주 매거진 펼쳐 보기 ›

매일 아침 새로 나오는 무료 매거진, 오마주 매거진. 네이버·구글에서 "오마주 매거진"을 검색하세요.