답변할때 자료 출처 공개하고
법률·의료 등 전문분야 답변은
정확한 응답 패턴 반복 학습

환각 문제가 계속 발생하면서 이를 줄이기 위한 노력이 이어지고 있다. 오픈AI는 프롬프트를 기반으로 한 조정과 더불어 사실 강화 미세 조정에 나서고 있다.

환각 현상을 원천 봉쇄하기보다 인공지능(AI)이 답변을 생성하는 과정에서 보완 조치를 취하겠다는 것이다.

클로드를 개발한 앤스로픽은 AI 모델에 모르는 질문을 받으면 "잘 모르겠다"고 답할 수 있도록 훈련시킨 '정직한 AI'를 바탕으로 환각을 줄이고자 한다. 클로드는 사용자와 상호작용에서 스스로 반문하거나 오류 가능성을 경고하는 구조를 탑재하고 있어 끊임없이 자기 객관화를 한다. 이를 통해 환각을 줄인다는 것이다. 구글은 검색 기반 생성(RAG)을 바탕으로 하는 AI 오버뷰와 검색을 결합하는 등 자구책을 마련 중이다. 이 덕분에 최신 자료를 바탕으로 답변을 만들어내지만 '피자에 풀을 넣으라'고 조언하는 등 검증되지 않은 정보가 불쑥 튀어나올 우려가 있다.

RAG는 외부 문서를 검색해 그 결과를 바탕으로 AI가 응답을 생성하는 것이다. 대규모언어모델(LLM)이 자체 파라미터에 저장된 지식만으로 답하는 것이 아니라 실시간으로 정보를 찾아본 뒤 그 내용을 반영해 답변하는 구조다. 이는 LLM이 학습한 정보를 갱신해 환각에 빠지는 것을 줄여준다. 코파일럿, 퍼플렉시티AI, 메타 라마인덱스 등이 RAG를 활용해 환각 현상을 개선하고 있다.

구글의 대항마로 부상한 퍼플렉시티는 항상 출처를 공개하는 것으로 환각을 줄이려 하고 있다. 모든 응답에 출처 링크를 표기함으로써 AI가 어디서 답을 가져왔는지 사용자에게 투명하게 공개하는 것이다. 퍼플렉시티는 자사 모델의 이 같은 기능을 강조해 환각이 적다는 점을 적극 알리고 있다.

이외에 AI 모델의 미세 조정과 실시간 교정 메커니즘을 활용하는 경우도 있다. 미세 조정은 기존 언어모델을 특정 목적이나 품질 기준에 맞게 추가 학습시키는 과정이다. 법률, 의료 등 정확성이 중요한 일부 분야의 경우 AI 모델에 정확한 응답 패턴을 반복 학습시켜 환각을 줄이기도 한다. 이를 통해 AI 모델이 모르는 질문을 받았을 때 그럴싸한 거짓 답변을 내놓는 대신 "모르겠습니다" 또는 "추가 정보가 필요합니다" 등의 답변을 내놓게 만든다. 다만 이 같은 방법은 비용과 시간이 많이 소요된다는 단점이 있다.

AI가 문장을 생성하는 도중에 해당 내용이 사실인지 동시에 검증·수정하는 '실시간 교정 메커니즘'도 있다. 문장 하나하나가 사실을 기반으로 하는지 확인하며 오류를 탐지하면 바로 수정하거나 생성을 중단해 환각 현상을 막는 것이다.

AI 모델 학습 방식을 바꾸는 것 외에 환각 현상이 벌어지는 이유를 AI의 본질적인 구조에서 찾고자 하는 시도도 있다. 비록 사람이 만든 AI지만 아직도 AI에 대해 제대로 이해하지 못하고 있다는 인식에서다.

다리오 아모데이 앤스로픽 최고경영자(CEO)는 "AI는 사람보다 더 놀랍고 예상하지 못한 방식으로 환각 현상을 일으킨다"며 "이를 정확하게 측정할 수 없으면 고칠 수 없다"고 언급했다. 아모데이 CEO는 2023년 미국 상원 청문회 이후 "AI 내부를 들여다볼 수 있는 MRI와 같은 해석 도구를 만들고 싶다"며 "범용 인공지능(AGI) 개발이 가까워올수록 AI의 내부 행동을 모르면 위험하기 때문"이라고 강조하기도 했다.

[이영욱 기자]

Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지