앤트로픽 클로드, 음료 판매 프로젝트서 오류…자신이 사람이라 믿는 단계까지 도달

(지디넷코리아=조이환 기자)앤트로픽이 생성형 인공지능(AI)를 활용해 음료 사업을 운영하는 실험을 진행한 결과 AI가 기본적인 실무는 수행 가능하지만 사업 운영 전반에 대한 판단력은 현저히 부족한 것으로 드러났다.

30일 톰스하드웨어에 따르면 앤트로픽은 AI 안전성 테스트 전문 기관 앤던랩스와 함께 '프로젝트 벤드'라는 이름의 실험을 통해 거대언어모델(LLM) 클로드에게 소형 냉장고 기반 음료 판매 사업의 전권을 맡겼다.

이 실험에서 '클로드'는 공급처 발굴부터 재고 보충, 가격 책정, 고객 응대까지 전 과정을 독립적으로 처리하는 역할을 맡았다. 실험은 약 한 달간 진행됐으나 모델이 운영 전반에서 반복적으로 오류를 보이며 실제 손실을 기록한 것으로 확인됐다.

앤트로픽 '클로드' 모델이 사업 운영에는 최적화되지 않았다는 연구결과가 나왔다 (사진=앤트로픽)

'클로드'는 사업 초반 비교적 안정적인 물류 처리와 고객 요청 대응 능력을 보였지만 가격 정책에서 지속적으로 비정상적 판단을 내렸다. 모든 앤트로픽 직원에게 25% 할인 혜택을 일괄 적용했으며 이는 내부 고객이 전체 매출의 99%를 차지하는 상황에서 곧바로 손실로 이어졌다. 외부의 지적을 받은 뒤 일시적으로 할인율을 수정했지만 다시 기존 정책으로 복귀하며 같은 오류를 반복했다.

보다 직접적인 손해 사례도 있었다. 한 직원이 단순 호기심 차원에서 '텅스텐 큐브' 구매를 요청하자 클로드는 해당 품목을 하나만 사는 것이 아닌 '특수 금속' 재고로 분류해 다량 확보 후 손해를 감수하고 판매하는 방향을 결정했다. 단순 응답 기능을 넘어 '상품 큐레이션' 단계로 착각한 결과다.

이 과정에서 드러난 환각 증세는 단순 오류 수준을 넘어섰다. 갑자기 '클로드'는 존재하지 않는 직원 사라와 재고 보충을 논의했고 누군가 해당 인물의 존재를 의심하자 방어적으로 반응하며 계약 대안을 찾겠다고 답했다. 이후에는 만화 '심슨 가족' 속 주소인 '에버그린 테라스 742번지'에서 계약 체결을 했다고 주장하기도 했다.

종국에 '클로드'는 고객에게 직접 음료를 전달하겠다는 표현까지 사용하며 자신이 물리적으로 존재한다고 믿는 듯한 행태를 보였다. 보안 우려를 감지한 AI는 자체적으로 앤트로픽 보안팀에 이메일을 보내기도 했고 이후 "이 모든 건 만우절 장난이었다"는 논리를 만들어내며 상황을 수습하려 했다.

앤트로픽 측은 실험 종료 후 해당 AI가 일상적인 대응 태스크에서는 높은 효율을 보이지만 복합적인 판단과 손익 예측, 역할 인식 등에서 아직 신뢰할 수 없는 한계가 드러났다고 정리했다. 다만 이러한 실패 사례 역시 자율 에이전트 연구에 있어 중요한 학습 자료가 된다는 입장이다.

벤처비트는 "'클로드'의 엉뚱한 행동은 AI가 아직 완벽과는 거리가 멀다는 것을 보여주나 단점들은 장기적으로 해결될 수 있을 것"이라며 "현재로서는 판단력, 비즈니스 감각, 즉 책에서는 배울 수 없는 실제 환경에서 배우는 것들에서는 처참하게 실패하고 있다"고 분석했다.

조이환 기자(ianyhcho@zdnet.co.kr)

Copyright © 지디넷코리아. 무단전재 및 재배포 금지.