대형 매체들 AI 크롤링 마켓플레이스 '환영'…"업계 협력 체계 필요"

(지디넷코리아=김미정 기자)밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 관련 이야기를 이해하기 쉽고 맛있게 보도하겠습니다. [편집자주]

클라우드플레어가 인공지능(AI) 챗봇의 무단 콘텐츠 접근·수집을 막기 위해 마켓플레이스를 출시한 가운데 이에 대한 전망이 엇갈리고 있다.

최근 클라우드플레어는 AI 크롤러의 웹사이트 접근을 유료화하는 '페이 퍼 크롤(Pay per Crawl)' 마켓플레이스를 비공개 베타 형태로 출시했다. 이 마켓은 AI 챗봇이 웹사이트에 무단 접속해 정보를 무단으로 긁어가는 것을 방지하기 위해 등장했다. 

클라우드플레어가 AI 챗봇의 무단 콘텐츠 접근·수집을 막기 위해 마켓플레이스를 출시한 가운데 이에 대한 전망이 엇갈리고 있다. (사진=구글 제미나이)

매슈 프린스 클라우드플레어 최고경영자(CEO)는 "실제 다수 웹 기반 비즈니스는 광고 수익에 의존하고 있는데, AI 크롤러의 무단 수집으로 인해 해당 모델이 흔들리고 있다"며 "대형 언론사부터 중소 자영업자까지 모든 웹사이트 운영자가 AI 크롤러로부터 콘텐츠를 보호할 수 있게 조치할 것"이라고 강조한 바 있다. 

클라우드플레어는 두 가지 방식으로 AI 크롤러를 통제할 방침이다. 우선 웹사이트가 AI 크롤러 접근을 원천 차단하는 기능이다. AI 크롤러가 웹사이트 자체에 접속조차 할 수 없게 만드는 식이다. 

다른 하나는 크롤러가 웹사이트에 접근할 경우 소액결제를 통해 요금을 청구하는 시스템이다. AI 챗봇 기업이 웹사이트의 콘텐츠를 긁어갈 때마다 일정 금액을 지불하고, 해당 금액은 수수료를 제외한 뒤 웹사이트 운영자에게 전달되는 방식이다. 

웹사이트 운영자는 크롤링 목적이 AI 학습용인지 또는 검색 응답용인지 등 기타 목적에 따라 접근 허용 여부나 과금 조건을 다르게 설정할 수 있다. 해당 정책은 클라우드플레어에 도메인을 등록한 고객 한해서만 제공된다.

"웹사이트, 데이터 제공자로 전락?…중소·중견 참여 미정"

일부 AI 기업과 대형 매체는 클라우드플레어의 마켓플레이스에 긍정적으로 반응하고 있다. 다만 해당 시장이 확장할 수 있을지 미지수라는 의견도 공존하고 있다.

일부 AI 기업과 대형 매체는 클라우드플레어의 마켓플레이스에 긍정적으로 반응하고 있다. (사진=챗GPT)

한 업계 관계자는 "클라우드플레어는 전 세계 인터넷 콘텐츠를 다수 처리하고 있다"며 "이같은 규모로 AI 크롤러 유료화를 현실화할 수 있을 것"이라 주장했다. 

실제 클라우드플레어는 AI 크롤러 고객사로 타임과 애틀랜틱, 포춘, 콘데나스트, 애드워크 등을 확보했다. 해당 매체는 AI 크롤러 전면 차단을 기본 설정으로 적용한 상태다. 

다만 해당 모델에는 넘어야 할 현실적 과제도 있다. 가장 큰 장벽은 웹사이트 운영자들이 느끼는 거부감인 것으로 나타났다. 

지금까지 사용자들이 직접 웹사이트를 방문해 콘텐츠를 읽고, 그 과정에서 광고를 보거나 유료 구독을 통해 수익이 발생하는 구조였다. 그러나 클라우드플레어의 새 시스템은 AI가 웹사이트 내용을 요약한 뒤, 그 결과만 사용자에게 보여주는 식으로 구성됐다. 사용자가 직접 웹사이트에 접속하지 않아도 정보를 소비할 수 있게 되는 셈이다. 

이처럼 간접적인 콘텐츠 소비 방식은 웹사이트 운영자들, 특히 언론사나 블로거처럼 트래픽과 광고 수익에 민감한 이들에게 우려를 불러일으킬 수 있다.

한 웹사이트 운영자는 "클라우드플레어 마켓플레이스가 활성화한다면 웹사이트는 인간이 아닌 AI 학습을 위한 데이터 제공자로 전락할 수 있을 것"이라고 지적했다. 

업계에서는 해당 과금 시스템이 제대로 잡기 위한 협력 체계가 중소·중견 사업자에게 영향 미칠지 미지수라는 입장도 나왔다. 

또 다른 관계자는 "업계 전반 합의와 기술 표준, 신뢰를 기반으로 한 협력 체계가 필요하다"며 "대기업뿐 아니라 중소 기업까지 유료 크롤링 마켓플레이스에 적극 참여할지는 아직 불투명하다"고 말했다. 

김미정 기자(notyetkim@zdnet.co.kr)

Copyright © 지디넷코리아. 무단전재 및 재배포 금지.