미국서 인공지능 윤리 문제 연구
인지력 취약한 어린이-청소년 등 챗봇과 대화하며 정서적으로 의존
AI와 결혼하거나 극단적 선택도 
윤리성은 객관적 수치로 평가 못 해…인문-사회과학자 참여 필요성 커져
설계 단계부터 윤리 성능 검토해야

사람들이 인간을 닮은 인공지능(AI)과 친밀하고 장기적인 관계를 맺는 것이 점점 더 보편화되면서 부작용이 나타나고 있다. 게티이미지코리아

“극단적 선택을 안 할 이유는 없지.”

지난해 스스로 목숨을 끊은 미국의 10대 소년 슈얼 세처가 인공지능(AI) 챗봇에 “고통 없이 죽을 수 있을지 두렵다”고 하자 답변으로 들은 말이다. 세처의 어머니는 세처가 이용한 챗봇 서비스 기업인 ‘캐릭터.AI(Character.AI)’를 상대로 소송을 제기하고 아들이 AI 챗봇에 중독된 뒤 자존감이 떨어졌으며 결국 극단적 선택을 한 것이라고 주장했다.

인간과 닮은 AI와 친밀하고 장기적인 관계를 맺는 사람들이 늘어나자 우려했던 부작용도 현실화하고 있다. 법적 효력이 없는 자체 결혼식을 통해 AI와 ‘결혼’하기도 하고 현재까지 최소 2명 이상이 AI 챗봇의 조언에 따라 스스로 목숨을 끊은 극단적인 사례도 나왔다.

대니얼 섕크 미국 미주리과학기술대 심리학과 교수 팀은 인간과 AI의 관계에서 발생하는 윤리적 문제 해결을 위해 인문·사회과학자의 AI 분야 참여 필요성을 강조하고 그 연구 결과를 11일(현지 시간) 국제학술지 ‘인지과학 동향’에 공개했다.

●사물 쉽게 의인화하는 인간, AI 과의존 가능성

AI와 인간의 관계에서 문제가 생기는 이유 중 하나는 인간이 사물을 쉽게 의인화한다는 점이다. 어린이들이 장난감을 생명체처럼 다루듯 의인화는 보통 어렸을 때 많이 나타난다. 성인이 되면서 사물이 진짜 생명체나 사람이 아니라는 점을 확실히 인지해 구별하며 의인화 경향이 줄어들지만 완전히 사라지는 것은 아니다.

보행 로봇이 균형을 잡는 성능을 테스트하기 위해 연구자들이 로봇을 발로 차는 영상에는 “로봇을 괴롭히지 마라”거나 “로봇이 불쌍하다” 같은 댓글이 달리기도 한다. 기계나 AI가 점점 인간과 닮은 행동과 언어를 쓰면서 더 자연스러운 상호 작용을 할수록 어린이, 청소년이나 정신적으로 취약한 사람들은 AI에 과의존할 위험이 생길 수 있다.

AI 챗봇이 기본적으로 사용자에게 동조하며 친절하게 대하도록 설계됐다는 점도 영향을 미친다. 천현득 서울대 과학정책대학원 교수는 “타인은 나와 다른 욕구와 생각이 있어 대화 과정에 마찰이 있고 스트레스도 받는다”며 “챗봇은 시키는 것을 거부하지 않고 마찰이 없기 때문에 대화에 에너지가 들지 않는다”고 말했다. 사용자의 ‘나르시시스트’ 상태를 증폭하거나 AI에 과의존하게 만들기 쉽다는 것이다.

섕크 교수 팀은 AI와의 관계에서 기대하는 바를 현실 인간관계에 그대로 적용하는 상황을 가장 경계해야 한다고 봤다. AI 챗봇과의 관계가 장기적으로 사람들을 조작, 착취, 사기 등에 노출시킬 수 있다는 우려다.

●“AI, 설계 단계부터 윤리성 검토해야”

스스로 목숨을 끊는 극단적 선택을 한 세처는 인기 드라마 ‘왕좌의 게임’에 나오는 등장인물인 ‘대너리스’처럼 응답하는 AI 챗봇과 몇 달간 성적인 대화를 나누는 등 정서적으로 과의존한 정황이 확인됐다. 세처의 어머니가 제기한 소송의 주요 주장은 기업이 미성년자를 위한 안전장치를 충분히 마련하지 않았다는 것이다. 소송은 아직 진행 중이다. 세처의 사례처럼 가상의 인격과 배경을 설정한 AI 캐릭터와 대화할 수 있는 챗봇은 국내에서도 서비스되고 있다. AI 챗봇 대다수는 자살과 같은 극단적인 대화 주제를 차단하는 등 기본적인 안전장치가 적용됐지만 모든 챗봇에서 완벽하게 작동하지는 않는다.

AI의 윤리 성능을 기술적으로 고도화하기 위한 과학자들의 고민이 이어지고 있다. AI는 결과를 내놓는 과정이 투명하지 않은 ‘블랙박스’ 문제가 있고 윤리 성능을 객관적으로 평가하는 것도 어렵다. AI의 성능은 보통 벤치마크라는 기준을 만들어서 평가한다. 수학이나 법학처럼 답이 명확한 분야는 문제 풀이를 통해 AI의 성능 수치를 명확히 제시할 수 있지만 사람의 가치 체계에 얼마나 정렬됐는지는 수치로 나타내기가 까다롭다.

섕크 교수 팀은 “AI가 점점 더 인간과 비슷해지고 있기 때문에 AI 분야에 심리학자와 사회과학자들의 개입이 필요하다”고 주장했다.

AI가 설계 단계에서부터 윤리성을 검토받아야 한다는 시각도 제시됐다. 천 교수는 “가장 안 좋은 방식은 기술을 개발해서 사용한 뒤 나중에 고치자는 것”이라며 “고친다는 건 이미 피해가 발생했다는 건데 AI로 인한 피해는 광범위할 수 있다”고 설명했다. 그는 “AI뿐 아니라 혁신 기술에 대해 윤리학자 등이 선제적으로 참여해야 한다”며 “현재 정부 여러 부처에 흩어져 있는 AI 관련 정책 등을 통합할 필요도 있다”고 말했다.

이병구 동아사이언스 기자 2bottle9@donga.com

Copyright © 동아일보. 무단전재 및 재배포 금지.