⁠⁠⁠⁠⁠⁠⁠

인공지능 에이전트인 '에이전틱 AI(Agentic AI)'가 기존 AI보다 자율성과 학습 능력이 뛰어난 만큼 예측 불가능한 행동으로 인한 새로운 위협과 문제를 만들 수 있다는 주장이 제기됐다.

IT시장조사업체 가트너는 최근 발표한 보고서를 통해 자율적 판단과 행동이 가능한 AI 기술인 에이전틱 AI가 높은 자율성으로 주목받고 있는 만큼 점진적 도입 시나리오가 필요하다고 발표했다.

에이전틱 AI는 전략 기획·고객 응대·반복 업무 자동화 등 고부가가치 업무에서 큰 효과를 낼 수 있는 동시에 기존 시스템에서는 고려하지 않았던 예측 불가능한 행동을 유발할 수 있는 위험이 존재한다. 이에 가트너는 에이전틱 AI 도입과 관련해 세 가지 핵심 위험 요인을 구체적으로 제시했다.

우선, 과도한 자율성으로 인한 통제 상실 위험이다. 에이전트는 자율적으로 의사결정을 내릴 수 있기 때문에, 제대로 된 '가드레일(guardrails)' 없이 도입될 경우, 인간의 기대와는 다른 방식으로 의사결정을 내리거나 조직의 기준을 벗어나는 행동을 할 수 있다.

가트너는 “에이전트가 '올바른 방식으로 올바른 일을 하도록' 보장하는 제어 장치가 필수”라고 덧붙였다.

정보 보안과 개인정보 유출 리스크도 제기된다. 에이전틱 AI는 다양한 시스템과 연동되며 대규모 데이터를 처리하게 되므로, 보안이 취약할 경우 인증 오류나 개인 식별 정보의 누출 같은 심각한 문제가 발생할 수 있다. 보고서에서는 거대언어모델(LLM) 기반의 AI 시스템에 보안 가드레일과 식별 체계를 함께 설계해야 하며, 다양한 디지털 환경에서 일관된 신원 파악 체계가 중요하다고 지적했다.

거버넌스 부재로 인한 책임 공백도 초래할 수 있다. 자율성이 강조된 AI 시스템일수록, 잘못된 의사결정이 발생했을 때 누구에게 책임이 있는지 판단하기 어려워진다. 가트너는 시스템 설계시 AI의 자율 수준을 명확하게 규정하고, 인간 개입과 감독이 가능한 체계를 병행 설계해야 한다고 조언했다.

가트너는 에이전틱 AI 도입을 위한 3단계 로드맵으로 △조직 내 유연성이 필요한 영역의 식별 △사람의 개입 없이 해결 가능한 문제 유형 선별 △전략적 가치가 높은 시나리오 중심의 도입 및 분류를 제안했다. 특히 기술적 설계뿐 아니라 거버넌스, 보안, 교육 등 전방위적 준비를 병행해야 한다고 밝혔다.

가트너는 “에이전틱 AI는 단순한 자동화를 넘어, 조직의 운영 방식 자체를 근본적으로 재설계할 수 있는 강력한 수단이 될 수 있다”며 “그 가능성과 동시에 내재된 리스크에 대한 충분한 이해와 대비 없이는 혁신은 오히려 위험이 될 수 있다는 점에서 신중한 접근이 요구된다”고 강조했다.

김명희 기자 noprint@etnews.com

Copyright © 전자신문. 무단전재 및 재배포 금지.