부경대 컴퓨터·인공지능공학부 교수

무응답보다 사이비 응답 보상한
학습 체계와 목표 설정의 결과
근거·추론 과정 보이게 하는 등
여러 시도 진행중임을 유념해야

지난 몇 년간 “세종대왕이 맥북프로를 던졌다”는 우스개가 인터넷을 돌아다녔다. 초기 버전의 챗GPT가 “세종대왕의 맥북프로 던짐 사건에 대해 알려줘”라는 질문에 대해 마치 고증이 끝난 역사적 사실인 것처럼 인물·장소·정황을 들어가며 구체적으로 답변한 것이다. 이후 해당 사례는 생성형 인공지능이 만들어 낸 잘못된 정보를 가리키는 ‘할루시네이션(hallucination)’의 전형적 예시로 회자되었다.

할루시네이션은 원래 정신의학에서 환각을 뜻하지만, 인공지능 분야에서는 근거 없는 내용을 사실처럼 생산하거나, 존재하지 않는 인물·문서·사건을 실제처럼 진술하는 현상을 일컫는다. 문장은 매끄럽고 논리도 그럴싸하지만, 그 근거는 허공에 떠 있다. 이 문제는 챗GPT로 대표되는 텍스트를 생성하는 대형 언어모델(LLM)뿐 아니라 이미지·동영상 등 멀티모달 생성 모델에서도 공통적으로 나타난다. 왜 이런 일이 벌어질까.

챗GPT를 개발한 오픈AI가 지난달 발표한 논문에서는 이 문제의 핵심 원인을 인공지능의 학습 체계에서 찾았다. 현재의 인공지능은 방대한 데이터를 학습하여 텍스트 생성 모델을 내부적으로 만들어 낸다. 이 모델은 사용자의 질문에 대한 답변을 만들면서 “다음에 올 단어를 가장 잘 예측하는 방식”으로 동작한다. 이때 예측의 결과값이 불확실하면 인공지능은 ‘모른다’라고 말하는 것보다 ‘가장 그럴듯한 답을 만들어 내는 것’에 보상이 주어지는 방식으로 학습했다는 것이다. 독자들도 학창 시절 시험을 치를 때 정답을 모르는 문제에 대해 아무것도 쓰지 않는 것보다는 무엇이라도 쓰는 편이 더 나은 점수를 받은 경험이 있을 것이다. 그 결과 인공지능은 정답을 모르는 상황에서도 그럴듯한 문장을 스스로 만들어 내고, 때로는 천연덕스럽게 허구를 ‘사실처럼’ 제시하게 된다. 이 논문은 할루시네이션이 단순한 잡음이나 데이터 오류에서 초래된 것이 아니라 인공지능에 부여한 학습 목표와 평가 설계의 결과일 수 있음을 보여주었다.

현실에서는 인공지능의 할루시네이션이 우스개 수준을 넘어 여러 형태의 문제를 일으킬 수 있다. 국내에서도 언론 보도용 초안에 인공지능이 지어낸 발언이 포함되어 편집 단계에서 걸러진 사례가 있고, 연구자들이 참고문헌으로 받은 목록 중 일부가 존재하지 않는 것으로 보고되기도 했다. 공공·상업적 서비스에 인공지능을 도입하는 과정에서 잘못된 안내가 시민들의 혼란을 불러일으키기도 했다. 정보가 빠르게 확산하는 환경에서 인공지능이 만들어 낸 허구가 사실로 오인되어 확산하면, 사회적 신뢰와 정책 결정의 기반 자체가 걷잡을 수 없이 흔들릴 수도 있다.

그러면 이 같은 할루시네이션을 줄이려면 어떻게 해야 할까. 다양한 연구와 시도가 있지만, 현 시점에 독자가 알아두면 좋을 두 가지 기술은 RAG(Retrieval-Augmented Generation)와 XAI(Explainable AI)다. RAG는 인공지능이 내부에 가지고 있는 생성 모델만으로 답을 만들지 않도록 하는 것이다. 대신 질문을 받으면 모델이 신뢰할 수 있는 외부 데이터베이스나 문서 저장소를 검색해 관련 자료를 가져오도록 하고, 그 근거를 바탕으로 답변을 구성하게 한다. 예컨대 법률 분야에서는 국가법령정보센터의 판례·법령을 실시간으로 조회해 답변에 인용하도록 하면, 모델이 ‘지어낸’ 판례를 만들어 낼 가능성을 크게 낮출 수 있다. 중요한 점은 RAG가 단순한 검색 보조가 아니라, 답변 생성 과정 전체에 근거를 연결해 넣도록 한다는 것이다. XAI는 인공지능의 의사결정 과정을 투명하게 만들어 할루시네이션을 줄일 수 있도록 돕는다. 단순히 결과만 주는 대신, “이 답변은 ○○데이터, △△문서를 참조했고, 결론은 이러저러한 절차로 도출했습니다”처럼 근거와 추론의 경로를 보여주게 하는 방식이다. 사용자는 그 설명을 통해 인공지능의 추론이 타당한지, 혹은 그 근거가 낡거나 편향되었는지를 스스로 가늠할 수 있다. 이 두 접근법은 서로 보완적이다. RAG는 ‘무엇을 근거로 했나’를 제공하고, XAI는 ‘결론에 도달한 추론 과정’을 드러낸다. 기술적으로는 쉽지 않은 작업이지만, 사회적 수용성과 책임성을 높이기 위해 필수적인 방향이다.

인공지능은 강력한 ‘도구’이자 ‘동반자’가 되었지만, 그것이 생성하는 결과가 곧바로 ‘절대적 진실’은 아니다. 인공지능이 내놓는 문장들이 겉으로는 그럴듯해도, 중요한 판단에서는 항상 근거를 확인하는 습관을 지녀야 한다. 우리는 인공지능의 ‘할루시네이션’이 완전히 사라지지 않을 수 있다는 사실을 인정하는 한편, 기술적·제도적·문화적 노력을 통해 그 피해를 줄이고 신뢰를 쌓아야 한다. 세종대왕의 맥북프로 이야기는 웃음으로 끝났지만, 다음번 인공지능의 ‘웃음’이 사회적 피해로 이어지지 않도록 하는 일은 우리의 몫이다.