오픈AI·딥시크 등 최신 AI 모델 환각률 ↑
“AI 환각 막기 어려워…사용자도 주의해야”

생성형 AI가 생성한 이미지. 챗GPT 제공

#지난달 한 사용자는 프로그래밍 도구 '커서'의 기술 지원을 담당하는 인공지능(AI) 챗봇에 사용 정책을 문의했다가 이상한 답변을 받았다. 챗봇은 "이제 커서는 한 대의 컴퓨터에서만 사용할 수 있다"고 안내했지만 이는 실제와 다른 환각 현상으로 AI가 지어낸 답변이었다. 이 사용자가 커뮤니티에 이런 사실을 올리자 커서 사용자들의 항의가 빗발쳤다. 일부 사용자들은 유료 구독을 취소했다. 이에 마이클 트루엘 커서 최고경영자(CEO)는 "한 대의 컴퓨터에서만 사용할 수 있다는 정책은 없다"며 "AI 챗봇의 오류"라고 해명에 나섰다.

복잡한 수학 문제도 척척 풀는 최신 AI 모델들이 실제로는 존재하지 않는 논문 제목이나 허위 수치를 사실처럼 제시하는 환각 현상이 심화하고 있다. AI 기술이 정교해질수록 모르면 모른다고 하지 않고 가장 가능성 높은 답을 지어내는 성향이 더욱 짙어진 셈이다.

◇수학 문제 척척 풀지만…때론 거짓말= 6일(현지시간) 뉴욕타임스는 AI 챗봇의 활용 범위는 계속 넓어지고 있지만 정확성은 여전히 보장되지 않는다고 보도했다. 특히 구글, 오픈AI, 중국 스타트업 딥시크 등에서 최근 내놓은 이른바 '추론형 모델'들이 언어 능력은 강화됐지만 환각 현상은 증가했다는 지적이다.

환각은 AI가 실제로 존재하지 않는 정보를 사실처럼 만들어내는 현상이다. 가상의 인물이나 판례, 논문 제목을 지어내고 허위 수치를 그럴듯하게 제시하기도 한다.

문제는 기술이 정교해질수록 이 같은 오류가 더욱 설득력 있게 포장된다는 점이다.실제로 오픈AI의 최신 AI 모델 'o3'와 'o4-mini'는 전작보다 환각률이 오히려 더 높아졌다. 오픈AI의 자체 실험 결과에 따르면 최신 모델 o3는 유명인 정보에 답하는 퍼슨 품질보증(QA) 테스트에서 33%, 일반 상식에 답하는 심플 QA 테스트에서는 51%의 환각률을 기록했다. o4-mini 모델은 각각 41%, 79%로 더 높았다. GPT-4.5는 이보다 낮지만 심플QA 기준 37.1%로 여전히 오류가 잦았다.

독립 테스트에서도 유사한 결과가 나왔다. AI 스타트업 벡타라는 챗봇에 실제 뉴스 기사를 요약하게 한 결과 오픈AI의 o3 모델은 6.8%, 딥시크 R1은 14.3%의 환각률을 보였다. IBM의 추론형 모델 '그래나이트 3.2'도 이전 모델보다 높은 환각률을 나타냈다. AI가 더욱 정교하고 똑똑해졌음에도 불구하고 거짓 정보를 진짜처럼 말하는 환각 현상은 늘어난 것이다.

오픈AI는 자사 보고서에서 "o3는 답을 모른다고 말하기보다 정답처럼 보이는 답을 선택하는 경향이 강하다"며 "그 결과로 더 많은 정답을 낼 수 있지만 동시에 더 많은 오답도 함께 만들어낸다"고 밝혔다.

이런 AI 환각은 실제 피해로 이어지고 있다. 지난 2월 미국 와이오밍주 연방법원은 존재하지 않는 판례를 인용한 로펌 '모건앤모건' 소속 변호사 2명에게 5000달러(약 697만원)의 벌금을 부과했다. 해당 변호사들은 챗GPT가 제시한 허위 판례를 그대로 서류에 인용했다가 제재를 받았다. 최근 2년간 이 같은 유사 사례는 최소 9건에 달한다.

◇"환각 없애긴 어렵고 줄이는 수밖에"= AI의 환각은 단순 오류가 아니다. AI 모델은 진실 여부를 판단하는 구조가 아니라 방대한 데이터를 기반으로 가장 가능성 높은 답변을 추론하는 방식이다. AI 모델이 질문에 답하려는 확률을 높이도록 설계돼 틀렸어도 일단 답변할 수밖에 없는 구조인 것이다.

아울러 모델의 구조가 복잡해질수록 내부 추론 과정을 분석하거나 통제하기도 어렵다. 매개변수가 수십억, 수천억 단위로 늘어나며 '왜 이런 답을 내놨는지'조차 역추적이 어려운 상황이다. 아리오 프라딥타 게마 에든버러대학교 AI 연구원은 "AI가 말하는 사고 과정이 실제 내부 연산과는 전혀 관련이 없는 경우도 많다"고 설명했다.

이에 업계는 환각 현상을 줄이기 위한 다양한 시도를 하고 있다. 대표적으로는 AI가 스스로 '모르겠다'고 답변할 수 있도록 불확실성을 학습시키는 방안과 답변 전에 신뢰할 수 있는 외부 문서를 검색해 활용하는 '검색 증강 생성(RAG)' 기법이 활용된다. 또 AI가 답변을 생성할 때 사고 과정을 단계별로 보여주는 '사고 사슬(CoT)' 방식과 훈련 데이터를 미세 조정하는 방식 등도 도입되고 있다.

김명주 서울여대 정보보호학과 교수는 "현재로선 AI 환각을 완전히 없애기는 어렵지만 RAG처럼 외부 출처를 기반으로 사실을 검증하는 기법을 도입하면 환각률을 줄이는 데 효과가 있다"며 "스스로 모른다는 판단을 내릴 수 있도록 설계하는 것 외에도 AI가 학습에 사용하는 데이터의 품질을 엄격히 선별하고 출처가 불분명한 정보는 사전에 걸러낼 수 있는 체계를 갖춰야 한다"고 강조했다.

다만 이러한 방식들에도 한계가 있다. AI가 사용하는 훈련 데이터 자체가 불완전하거나 편향돼 있으면, 아무리 후처리를 하더라도 잘못된 정보를 생성할 가능성이 남기 때문이다. 오카후 프라틱 베르마 CEO는 "AI가 낸 답이 사실인지 아닌지를 판단하는 데 너무 많은 시간을 쓰게 된다"며 "이런 오류를 제대로 다루지 않으면, 본래 AI가 맡아야 할 자동화 역할 자체가 무의미해진다. 현재 환각 문제를 해결하지 못하면 AI 시스템의 가치는 본질적으로 사라질 수밖에 없다"고 강조했다.

김 교수는 "AI 성능을 끌어올리려면 기존에 설정한 안전 가드레일을 풀 수밖에 없고 그렇게 되면 환각 현상은 더 심해질 수 있다"며 "결국 환각 문제는 지금으로선 아예 없는 것은 불가능하다. 잘 통제하면서 활용 범위를 조심스럽게 넓혀가는 수밖에 없다"고 말했다. 이어 "AI의 답변을 맹신하지 않고 항상 '팩트 체크'를 병행해야 한다"며 "소비자도 AI의 한계를 인식하고 주의 깊게 사용하는 태도가 필요하다"고 덧붙였다.유진아기자 gnyu4@dt.co.kr

Copyright © 디지털타임스. 무단전재 및 재배포 금지.