AI봇 계정이 커뮤니티에 댓글
타깃 작성자 성별·인종 등 분석
맞춤형 글 쓰자 사람들 견해 바꿔
커뮤니티 AI 규정 위반 논란도

실제 사람처럼 가장한 AI 봇이 인간 사용자들의 견해를 바꿀 수도 있다는 연구결과가 발표됐다. 사진은 챗 GPT로 생성.

사람인 것처럼 가장한 AI(인공지능)를 활용해 여론조작을 할 수 있다는 연구결과가 발표됐다. 연구팀이 사전 고지 없이 비밀리에 실험을 진행했다는 의혹이 일며 논란이 증폭되고 있다.

발단은 26일(현지시간) 레딧의 커뮤니티 중 하나인 ‘r/ChangeMyView(CMV)’에 올라온 글이었다. CMV 운영진은 ‘AI생성 댓글을 이용한 CMV 대상 무단 실험’이란 제목의 공지를 통해 “취리히대 연구팀이 CMV 사용자들을 대상으로 무단 실험을 진행했다는 사실을 커뮤니티에 알릴 필요가 있다”며 “AI가 견해를 변화시키는데 어떻게 활용될 수 있는지 연구하기 위해 AI가 만든 댓글을 활용했다”고 밝혔다.

2013년 개설돼 현재 380여만명이 활동 중인 이 커뮤니티는 서로 자유롭게 토론하는 곳이다. 독특한 점은 상대방의 설득력 있는 댓글을 보고 내 의견이 바뀔 경우 내게 영향을 준 그 사용자에게 델타(Δ)를 수여할 수 있다는 것이다.

취리히대 연구팀이 진행한 연구의 논문 초안 CMV

취리히대 연구팀은 거대언어모델(LLM)이 사람의 의견을 얼마나 잘 바꿀 수 있는지를 확인하기 위해 실제 레딧 사용자들이 올린 글에 AI가 생성한 댓글을 달아 심리적 설득 효과를 측정하기로 했다.

연구팀은 AI가 댓글을 작성할 때 단순히 글의 내용만 보고 답변하는 것이 아니라 글 작성자의 과거 레딧 활동 기록을 먼저 분석해 작성자의 ‘프로파일’ 즉 성별, 나이, 인종, 거주 지역, 정치 성향 등을 파악하게 했다. 이후 이 정보를 바탕으로 개인 맞춤형 설득 댓글을 작성하게 했다. 연구팀은이 과정에서 처음엔 ‘가치 기반 반박’ 등 일반적인 논쟁을 하기로 계획했지만, 실험 도중 ‘개인적이고 세밀하게 맞춘 설득방식’으로 변경했다. 이 과정에서 윤리위원회의 추가 승인을 받지 않아 논란이 됐다.

연구팀이 만든 10여개의 AI 계정들은 성폭력 생존자로 피해 경험을 공유하는 댓글, 트라우마 전문 상담가로 조언을 제공하는 댓글, ‘흑인의 생명도 중요하다(Black Lives Matter)’ 운동을 비판하는 흑인 남성, 외국 병원에서 열악한 진료를 받아 의료 시스템에 비판적인 환자, 특정 종교인에 비판적인 사람 등으로 분해 수백개 댓글을 달았다. 일부 댓글의 경우 미성년자 시절 성폭행 경험을 매우 구체적으로 서술하기도 한 것으로 알려졌다.

연구팀은 이를 바탕으로 한 연구 논문 초안을 CMV 운영진에 전달했다. 이에 따르면 AI 댓글은 실제로 사람들의 생각을 바꾸는데 효과가 있었던 것으로 드러났다. AI가 작성한 댓글에 대해 100여명의 실제 레딧 사용자들은 자신의 의견이 바뀌었다며 델타(Δ)를 수여한 것으로 알려졌다. 또한 일반적인 논리적 반박보다 사용자의 ‘프로파일’에 기반한 맞춤형 댓글이 의견을 바꾸는데 더 효과적이었다. 아울러 연구팀은 AI가 사실전달을 넘어 사람처럼 다양한 성향을 연기할 수 있었다며 AI가 사람들의 감정과 심리를 자극해 설득할 수 있는 위험성을 보여줬다고 주장했다.

CMV 운영진에 따르면 연구팀은 실험 전 CMV 측에 어떤 사전 고지도 없었고, 사후 통보로 실험이 진행된 사실을 알렸다. AI와 관련해 레딧과 CMV의 운영 원칙을 모두 위반하면서 레딧 관리팀은 실험 도중 사용한 일부 AI 계정을 규칙 위반으로 차단했다. 추가로 운영진은 차단되지 않은 계정들을 모두 공개하는 등 대응했다. CMV 운영진에 초안이 전달된 해당 논문은 아직 정식 출판되지 않았다.

CMV 운영진은 “CMV의 규칙은 공개되지 않은 AI 생성 콘텐츠나 봇의 사용을 허용하지 않는다”며 “우리는 연구팀에게 사과를 요청했고, 이 연구 결과가 공개되지 않도록 요청하는 등 여러 문제를 제기했다”고 덧붙였다. 레딧 또한 “법적 조치를 고려 중”이라고 밝혔다.

취리히대 연구팀은 논문 초안을 통해 “사회적으로 매우 중요한 주제이기 때문에 규칙을 어길 필요가 있었다”며 “피해 위험은 극히 적고 연구 결과가 중요하기 때문에 발표를 막을 이유가 없다”고 주장했다. 취리히대는 CMV의 문의에 “이번 사안을 심각하게 받아들이고 있으며, 향후 실험 연구를 시작하기 전 커뮤니티와 사전 조율을 의무화하겠다”는 회신을 보낸 것으로 알려졌다.

Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지