제4회 사람과디지털포럼 기조연사
알고리즘워치 마티아스 슈필캄프 인터뷰

유럽 기반 데이터와 연구에 기반해 활동하는
비영리·비정부 단체

독일 극우정당 부상
거대 플랫폼, 자신 이익 위해 공론장 분열
하지만 극우 정당 성공 요인 훨씬 복합적

소셜미디어 개인화 알고리즘과 체제 양극화 심화
각 국가의 정치·사회적 맥락 맞는 구체적 해법 모색해야

인공지능은 소프트웨어
마법의 해법으로 간주해서는 안돼
공공 영역 알고리즘, ‘투명성 등록제’ 통해 책임성 강화해야

“빅테크는 인공지능(AI)을 ‘마법 같은 기술’로 포장한 뒤 인공지능이 모든 문제를 해결해줄 것 같은 환상을 유포해 민주주의와 법치주의를 약화시킨다.”

한겨레는 제4회 사람과디지털포럼을 앞두고 기조연사인 마티아스 슈필캄프와 전자우편으로 인터뷰했다. 슈필캄프는 독일의 알고리즘 감시기구 ‘알고리즘워치’를 공동 설립한 뒤 지금까지 책임지고 있다. 2016년 설립된 알고리즘워치는 자동화된 의사결정 시스템과 알고리즘의 사회적 영향, 투명성, 책임성을 감시하고 연구하는 유럽 내 대표적 시민사회 조직으로 주목받고 있다.

슈필캄프는 다수의 거대 플랫폼이 민주주의 보호라는 도덕적 책무를 소홀히 해 공론장을 분열시키고 있지만, 독일을 포함해 여러 나라에서 나타나는 극우 정당의 성공을 플랫폼 탓으로 돌리는 것은 ‘희생양’을 만들어 정치인의 책임을 회피하는 측면도 있다고 말한다.

사람과디지털포럼은 오는 25일 ‘인공지능 알고리즘은 민주주의를 어떻게 해킹하는가’를 주제로 서울 대한상공회의소에서 열린다.

―먼저 알고리즘워치 소개를 부탁드린다.

“알고리즘워치는 베를린과 취리히에 본부를 둔 비영리, 비정부 단체로 30명의 전문가팀으로 구성되어 있다. 알고리즘과 인공지능이 정의, 인권, 민주주의, 지속가능성과 동행하는 세상을 만들기 위해 투쟁하고 있다.

우리의 접근 방식은 ‘증거 기반 옹호’(구체적인 데이터와 연구 결과를 바탕으로 정책 변화와 사회 변화를 추구하는 활동 방식)다. 유럽과 오스트레일리아(호주)에 있는 20개 이상의 대학 및 연구기관과 여러 해 동안 연구 프로젝트를 해왔다. 기술연구팀을 통해 실제 시스템을 조사하는 방식으로, 선거 관련 챗봇 답변이 얼마나 정확한지도 테스트했다. 또한 이탈리아 학교 당국이 교사를 배치할 때 결함이 있는 알고리즘을 사용해서 나타난 피해 사례와 문제점, 시스템의 불투명성과 오류를 밝혀내고 공론화하기도 했다. 이러한 사례를 바탕으로 기업과 정부가 책임 있는 인공지능을 개발하고 더 나은 거버넌스 체계를 마련하도록 촉구하고 있다.”

―생성형 인공지능은 딥페이크나 맞춤형 광고 등의 방식으로 투표에 영향을 미치고 있다. 알고리즘워치는 어떻게 모니터링하고 있나?

“2023~2024년 유럽연합(EU), 스위스, 독일 주의회 선거 당시 마이크로소프트의 인공지능 챗봇인 빙(Bing)과 코파일럿(Copilot)에 선거 정보에 대한 질문을 입력해 답변 데이터세트를 구축하고 분석했다. 그 결과 약 30%가 부정확한 것으로 드러났다. 결국 마이크로소프트는 챗봇 답변 방식을 바꾸었고 유럽연합 집행위원회(EU Commission)는 플랫폼을 위한 선거 가이드라인에 이 사례를 포함했다.

또한 전세계 시민 사회단체 및 학계와 협력해, 메타, 구글, 틱톡과 같은 거대 플랫폼의 추천 알고리즘이 선거에 개입하는 것과 같이 사회적 위험을 유발할 소지가 있는 경우, 연구자들의 데이터 접근 요청을 의무화하는 요구를 공동으로 제기했다. 이는 기업의 책임성을 강화하는 유럽연합 디지털서비스법(DSA)에 반영되었다. 향후 몇달 안에 플랫폼의 관행을 조사하기 위해 첫번째 데이터 접근 요청을 제출할 예정이다.”

―기술에 대한 오랜 논쟁 중 하나는 기술은 단순히 도구인지, 그렇지 않은지 여부다. 이에 대한 당신의 생각은?

“미국 기술사학자 멜빈 크랜즈버그는 “기술은 선하지도 악하지도, 중립적이지도 않다”고 말했는데, 매우 정확한 지적이다. 알고리즘과 같은 기술은 특정 목적을 가지고 개발되며, 기존 권력 구조의 일부로 작동한다. 예를 들어, 수천억달러 규모의 인공지능 개발 프로젝트를 지원하는 미국 대통령을 생각해보자. 투자자들은 “이 프로젝트가 강력한 인공지능 개발로 이어질 것”이라고 주장하지만, 인체 건강과 환경에 엄청난 피해를 초래한다는 사실은 완전히 무시하고 있다. 이런 기술이 중립적이라고 할 수 있을까?”

―전세계적으로 포퓰리스트 정치인, 극단주의 정당의 득세와 소셜미디어는 긴밀한 연관을 지닌다. 독일에서 극우 정당이 부상한 것도 이와 관련이 있나?

“소셜미디어와 인간 행동 간 관계는 복잡하다. 대부분의 정당은 소셜미디어 플랫폼을 활용해 영향력을 확대하려 한다. 반면 시민들은 다양한 요인을 고려해 정치적 판단을 내린다. 물론 거대 플랫폼 중 많은 곳이 자신의 이익을 위해 민주주의 보호라는 도덕적 책무를 소홀히 해 공론장을 분열시키고 있다. 하지만 정치인들이 극우 정당의 성공 요인을 플랫폼에서 찾는 것은 희생양 만들기나 마찬가지다.

예컨대, 독일에서 일론 머스크가 극우 정치인을 지지하는 게시물을 올렸는데, 어느 정도 영향을 미쳤는지 알고리즘워치가 직접 측정한 결과 독일 유권자에게 미친 영향은 제한적이었다. 오히려 미디어가 이를 과도하게 보도해 실제 영향보다 더 크게 부각된 측면이 있다. 따라서 이렇게 질문을 던져볼 수 있다. 독일 국민들이 머스크가 극우 세력을 지지했다는 사실을 알게 된 것이 머스크의 책임일까? 아니면 독일 언론일까?”

―소셜미디어는 개인화 알고리즘을 통해 개인의 신념을 강화하는 필터버블, 에코체임버 효과 등을 가져오고 그 결과 사회적 합의를 불가능하게 만든다는 비판이 거세다. 독일의 상황은 어떤가?

“동의하기 어렵다. 독일의 경우 미국에 견줘 양극화 수준이 낮고, 극우 정당이 20%의 지지를 얻었지만, 5명 중 4명은 외면했다. 미국의 경우 양극화에 영향을 준 것은 플랫폼보다 선거자금 조달 방식과 정치의 기업 편중이다. 플랫폼의 책임을 분명히 하되 각 국가의 정치·사회적 맥락에 맞는 구체적 해법을 모색해야 한다.”

―알고리즘에 의한 자동화된 의사결정이 주는 폐해도 크지만, 장점도 있지 않나?

“베를린에서 자전거 경로를 안내하는 내비게이션 시스템이 특정 경로를 추천할 경우 문제가 될까? 교통 및 안전 규칙을 준수한다면 전혀 문제 되지 않는다. 하지만 법원 판결과 같이 책임성과 절차적 정당성이 중요한 영역을 알고리즘에 위임하는 것은 명백히 문제다.”

―대화와 토론으로 이루어져야 할 공공 영역이 인공지능에 의해 위협받고 있다는 우려와 비판이 있는데?

“인공지능은 본질적으로 소프트웨어다. 우리는 이를 특별하고 강력한, 신비로운 존재로 취급해서는 안 된다. 소프트웨어를 통해 공공 영역을 활성화할 수도 있지만, “인공지능은 선하니 무조건 도입해야 한다”는 단순 논리 또한 위험하다.”

―오늘날 공공 행정은 데이터에 기반을 둔 의사결정이 대거 이루어지고 있다. 하지만 이는 시민들의 참여에 기반한 행정, 즉 참여민주주의와 어긋날 여지가 있다. 어떻게 생각하는가?

“감독과 책임이 결여될 때 시스템 자체의 결함이 얼마나 심각한 피해를 일으킬 수 있을지 보여주는 여러 사례들이 있다. 네덜란드의 보육 혜택 스캔들(세무당국이 자동화된 시스템을 활용해 2013년부터 2019년까지 약 2만6천명의 부모를 아동수당 부정수급자로 잘못 낙인찍은 사례)이 대표적이다. 그로 인해 피해자들은 일자리를 잃거나, 가족이 해체되고, 심지어 목숨을 끊은 경우도 있었다.

이 시스템은 사회적 약자들을 표적으로 삼아 악용되고 있다. 알고리즘워치의 연구에 따르면 이주자, 난민, 여행자에 대한 자동화 도구의 오남용도 비슷하다. 이는 정부가 권력을 남용하는 행위로 공공기관은 형식적인 준수를 넘어 실질적인 기본권 영향평가를 제출해야 한다. 또한 공공 영역에서 사용하는 알고리즘 시스템을 공개하는 ‘투명성 등록제’를 통해 책임성을 강화하고 행정의 효율성 향상을 동시에 달성할 수 있다.”

―알고리즘워치의 ‘자동화 사회’ 프로젝트, 즉 시민이 참여하는 인공지능 감시 활동을 소개하면?

“여러 해 동안 우리는 플랫폼을 기업의 동의 없이 외부에서 조사할 수 있는 다양한 도구를 개발해왔다. 기업들은 데이터를 자발적으로 제공하지 않으며, 또 제공하더라도 신뢰할 수 없기 때문이다. 실제로 페이스북(현 메타)이 잘못된 데이터를 제공한 사례도 있다. 그래서 우리는 이용자들에게 데이터를 기부해달라고 요청했다. 이렇게 되면 플랫폼이 데이터를 통제할 수 없게 되기 때문이다. 하지만 당연히 그들은 (다른 방식으로) 통제하려 했고 실제 인스타그램의 알고리즘이 극우 콘텐츠를 우선 노출하는지를 밝히려는 실험을 했을 때, 메타는 데이터 수집을 중단하지 않으면 ‘추가 집행 조치’를 취하겠다고 위협했다. 그럼에도 우리는 극우 콘텐츠가 사용자의 타임라인에 더 두드러지게 노출된다는 것을 밝힐 수 있었다.”

―알고리즘 감시에 있어 알고리즘워치와 같은 시민단체의 역할이 중요하다. 하지만 한계도 적지 않은데?

“알파벳(구글), 아마존, 애플, 메타, 마이크로소프트, 엔비디아, 테슬라 등 7대 기술기업의 연 매출은 2조달러를 넘는다. 국가조차 이들을 통제하기가 쉽지 않다. 알고리즘워치와 같은 단체만으로는 한계가 뚜렷하다. 우리가 영향력을 행사하는 방식은 이들을 조사하고 그 결과를 바탕으로 정부가 이들을 견제하도록 설득하거나 압박하는 것이다. 정부의 지원이 절실하다. 하지만 이와 동시에 정부가 책임을 회피하기 위해 시민 사회단체가 자신들보다 더 강력하다고 억지를 부리면서 ‘면죄부’로 이용하려는 시도에도 저항해야 한다.”

―이번 포럼의 기조강연을 미리 소개한다면?

“기술 대기업은 인공지능을 ‘마법 같은 기술’로 포장하면서 “기업이 간섭받지 않고 마음껏 일하게 해주기만 하면 인공지능이 모든 문제를 해결해줄 것이다”라는 환상을 펼치는데, 이를 반드시 바꿔야 한다. 이런 서사가 우리가 직면한 상황, 즉 억만장자 카르텔이 민주주의와 법치주의를 약화시키고 자신들의 이익을 위해 권위주의 방향으로 가고 있다는 점을 집중해서 드러낼 것이다.” 

마티아스 슈필캄프는 누구?

마티아스 슈필캄프는 독일의 알고리즘 감시기구 ‘알고리즘워치’(AlgorithmWatch)의 공동설립자이자 이사로, 2016년부터 자동화된 의사결정 시스템과 인공지능의 사회적 영향을 감시하고 연구하는 활동을 이끌고 있다.

베를린 자유대학교에서 철학 석사 학위를, 미국 콜로라도대학교에서 저널리즘 석사 학위를 받았고 오랫동안 언론인으로 활동했다. 유럽의회, 독일 연방의회, 유럽평의회 등에서 인공지능과 자동화에 관한 증언을 했고, 2020년부터 2022년까지 글로벌 인공지능 파트너십(GPAI) 회원으로 활동했다. 현재 국경없는기자회 독일지부 이사회 회원, 독일 소비자보호재단 자문위원 등으로 활동하며, 사회 자동화 보고서 편집자 역할도 하고 있다.

그가 주도한 알고리즘워치는 2018년 테오도어 호이스 메달을, 2023년 브란덴부르크 자유상을 수상하는 등 국제적으로 인정받는 시민사회 조직으로 성장했다. 

한귀영 사람과디지털연구소 소장 hgy4215@hani.co.kr

2025년 1월9일에 진행된 일론 머스크와 독일 극우정당 ‘독일을 위한 대안’(AfD) 당수 알리스 바이델 간의 엑스(옛 트위터) 라이브스트림 대화. 유튜브 채널 ‘알리스 바이델’(Alice Weidel)에서 갈무리.

마티아스 슈필캄프 알고리즘워치 공동창립자. 본인 제공

Copyright © 한겨레신문사 All Rights Reserved. 무단 전재, 재배포, AI 학습 및 활용 금지