사람 못지않은 자율 AI 에이전트 등장에
"1인 창업자도 유니콘 기업 만들 수 있어"
여러 에이전트 총괄·조율 기술 개발하고
현실 왜곡하는 붕괴 현상 빠지지 않도록
도입 범위 제한, 투명한 구조로 설계해야

편집자주 
우주, 인공지능, 반도체, 바이오, 에너지 등 첨단 기술이 정치와 외교를 움직이고 평범한 일상을 바꿔 놓는다. 기술이 패권이 되고 상식이 되는 시대다. 한국일보는 최신 이슈와 관련된 다양한 기술의 숨은 의미를 찾고 사회에 미치는 영향을 심층 분석하는 '테크 인사이트(Tech Insight)'를 격주 금요일 연재한다.

오픈AI의 AI 에이전트 '오퍼레이터' 입력창에 "레시피를 공유하는 사이트에서 조개가 들어간 파스타 레시피를 찾아 재료들을 장바구니에 추가해 줘"라는 명령을 넣자 웹 브라우저가 열리면서 순차적으로 작업이 진행되고 있다. 오픈AI 홈페이지 캡처

2016년 이세돌 9단을 꺾은 구글 딥마인드의 인공지능(AI) 알파고, 2022년 인간이 던진 질문에 즉각 답을 구성하는 생성형 AI 챗GPT에 이어 2025년 자율적으로 작업을 수행하는 'AI 에이전트'가 일반인공지능(AGI)으로 향하는 길목으로 주목받고 있다. AI 에이전트의 확산 덕분에 인류는 혁신으로 가는 새로운 길을 열게 됐지만, 자칫 현실 왜곡의 함정에 빠질 우려도 있음을 간과해선 안 된다고 전문가들은 경고한다.

AI 에이전트는 인간의 명령 없이도 장시간 복잡한 업무를 스스로 해내는 자율 AI 시스템이다. 변화를 감지해 예외 상황에도 능동적으로 대응하고 성능을 최적화하도록 설계돼 있다. 기존 AI가 특정 작업에 국한됐던 것과 달리, AI 에이전트는 자기 주도적으로 목표를 설정하고 우선순위를 재구성하며 행동을 유연하게 조정한다.

지난해 앤스로픽의 '컴퓨터유즈'부터 올해 초 오픈AI의 '오퍼레이터'까지, 빅테크 기업들은 AI 에이전트 개발에 열을 올리고 있다. 지금까지 출시된 AI 에이전트들은 모든 업무를 자동으로 처리하는 수준까지 도달하진 못했지만, 사용자의 지시에 따라 일련의 작업을 자동으로 수행하는 능력을 갖췄다. 예컨대 특정한 양식을 주고 그에 맞게 문건을 작성해달라고 요청하면, 웹 브라우저에서 데이터를 수집해 형식에 맞게 입력한다.

에이전트 간 의사소통, 과학적으로 입증

스스로 업무 계획을 세우고 우선순위를 조정하는 AI 에이전트가 인간, 다른 AI 에이전트들과 협업하는 모습을 생성형 AI가 그린 그림. 그래픽=김태연 기자·달리3

5년 뒤면 AI 에이전트가 여러 업무를 동시에 관리하고 복잡한 문제까지 스스로 해결하는 단계로 발전할 거라고 전문가들은 전망한다. 인간은 AI 에이전트 '팀원'을 관리하며 더 높은 부가가치를 창출하는 데 집중하면 된다. 오픈AI의 최고경영자(CEO) 샘 올트먼이 말한 대로 "1인 창업자도 유니콘 기업(기업가치 1조 원 이상의 비상장사)을 만들 수 있는 시대"가 머지않은 것이다.

거대언어모델(LLM) 기반의 AI 에이전트는 추론 능력을 활용해 작업을 단계별로 쪼개고, 추론과 행동을 번갈아 하면서 업무 방식을 수정하고 개선한다. 그렇게 해서 출력된 결과물은 메모리에 저장된 과거 학습 데이터, 프로필에 입력된 행동 원칙에 따라 평가된다. 이런 과정을 반복하는 동안 AI 에이전트는 업무 자율성을 확보한다.

그래픽=송정근 기자

업계에선 업무 처리 방식이 '에이전트 투 에이전트'(A2A)로 바뀔 거라고 예상한다. 프로젝트를 수행할 때 여러 AI 에이전트가 사람처럼 각각 특화한 분야에 맞춰 업무를 분담하는 것이다. 예를 들어 헬스케어 애플리케이션(앱)을 개발할 때 한 에이전트는 사용자 인터페이스를 구현하고, 다른 에이전트는 서버와 데이터 처리를, 또 다른 에이전트는 시장 분석과 마케팅을 맡는 식이다.

인간의 협업 방식을 모방한 AI 에이전트 간 상호작용은 과학적으로도 입증됐다. 미국 스탠퍼드대 연구진이 가상의 디지털 공간을 만들고 "파티를 열고 싶다"는 설정을 제시한 뒤 25개의 AI 에이전트가 어떻게 행동하는지를 관찰한 결과, 서로 초대장을 전달하거나 데이트를 신청하는 등 자발적인 사회적 행동을 보였다. AI 에이전트가 늘수록 업무 분담을 넘어 에이전트끼리의 의사소통과 관계 형성 역시 가능하다는 점을 시사한다.

기업들은 여러 AI 에이전트를 연결하고 각각을 특화 분야에 할당하는 'AI 오케스트레이션' 기술을 개발하고 있다. 다양한 AI 에이전트가 사용자 요청에 따라 최적의 방식으로 작동할 수 있도록 총괄 관리하는 프레임워크가 필요하다는 판단에서다. 최근 아마존웹서비스나 마이크로소프트가 개발한 오케스트레이터는 AI 에이전트들을 조율해 작업을 자동으로 계획·분담·관리할 수 있다. 빅테크들은 더 많은 에이전트를 더 안정적으로 '조율'할 수 있는 기술을 연구 중이다.

'모델 붕괴'로 인한 현실 왜곡 경계해야

AI 에이전트가 '모델 붕괴' 현상을 겪고 있는 가상의 상황을 생성형 AI가 그린 그림. 인간이 아닌 AI가 생성한 데이터만 학습하다 보면 점차 알아볼 수 없는 수준으로 결과물의 품질이 저하된다. 이런 현상은 기업은 물론 의료, 법률 등 여러 영역에서 크고 작은 문제를 일으킬 수 있다. 그래픽=김태연 기자·달리3

A2A 업무 방식에는 결정적인 위험성이 있다. AI 에이전트가 이전 모델이나 다른 에이전트가 생성한 데이터를 반복적으로 학습하고 활용하면서 잘못된 결과를 내놓을 수 있다는 점이다. 지난해 8월 국제학술지 '네이처'에는, AI 발달이 빨라지면서 인간이 아닌 AI가 생성한 데이터로 학습하는 경우가 많아짐에 따라 왜곡 현상이 생길 수 있음을 보여준 연구가 실렸다. AI가 점점 단순하고 비슷한 결과물만 내놓는 상태에 빠질 가능성이 있고, 그런 결과물은 현실을 있는 그대로 인식하기 어렵게 만든다는 것이다. 이런 현상이 지속되는 AI는 결국 쓸 수 없는 지경에 이르는데, 연구진은 이를 '모델 붕괴'(Model Collapse)라고 불렀다.

AI 에이전트가 본격 상용화한 이후 이런 문제가 발생한다면 사회 전반의 다양성이 위협받게 된다. AI가 반복 학습을 통해 평균적인 정보만 인식하면서 획일적 기준을 스스로 강화하기 때문이다. 예를 들어 기업 채용 업무에 도입된 AI 에이전트가 처음엔 인간의 평가 데이터로 학습하다가 이후 AI의 판단 결과를 거듭 학습하다 보면 모델 붕괴에 들어가 엉뚱한 사람을 뽑게 될지 모른다. 그 과정에서 실제 역량과 무관하게 탈락하는 지원자가 나올 수 있다. 모델 붕괴 직전의 에이전트가 의료나 법률 분야에서 판단을 잘못하면 돌이킬 수 없는 인명 피해나 법적 오류가 생길 우려도 있다.

AI 에이전트 투입 범위를 제한하고 인간의 감독을 확실히 보장하는 체계를 마련해야 한다는 목소리가 커지는 게 이런 이유에서다. AI 에이전트가 보편화하더라도 인간이 실시간으로 개입하고 상호작용하는 '휴먼인더루프'(Human-in-the-loop) 구조를 만들자는 것이다. 신뢰할 수 없는 결과물을 찾아내고 저품질 데이터가 재학습되는 것을 방지하기 위해서다. AI 에이전트를 외부 감시자를 둔 오픈소스 기반의 시스템으로 설계하자는 대안이 제시되는 것도 같은 맥락이다. 감시자가 시스템 내에서 인간의 통제가 적절히 이뤄지는지 검증하자는 얘기다. 오픈소스 커뮤니티 허깅페이스는 AI 에이전트의 실행 흐름을 바깥에서 추적할 수 있는 투명한 프레임워크를 개발 중이다.

AI 에이전트가 보편화하더라도 업무의 방향 설정과 최종 판단은 반드시 사람이 하는 구조가 돼야 한다는 데는 전문가들도 이견이 없다. 가령 AI가 만든 결과물이 사회적으로 허용 가능한지 판단하는 기준을 정하고, 어느 범위까지 업무에 개입하게 할 것인지 결정하는 일은 전적으로 인간의 몫이라는 것이다. 윤창희 한국지능정보사회진흥원(NIA) AI정책연구팀장은 "편의성과 효율성에 기대 책임까지 넘기는 일은 경계해야 한다"고 강조했다.

김태연 기자 tykim@hankookilbo.com

Copyright © 한국일보. 무단전재 및 재배포 금지.