Econopedia
주목 받는 AI 레드팀
단점 일부러 공격해
AI 시스템 결함 식별
윤리성 향상 연구도
국내외 빅테크 기업들
앞다퉈 AI 레드팀 구축

국내외 빅테크 기업은 앞다퉈 AI 레드팀을 구축·운영하고 있다.[사진=뉴시스]

■ AI 레드팀(Red Team) = 최근 인공지능(AI) 레드팀이 AI 안전과 신뢰성을 확보할 수 있는 핵심적인 방법으로 주목받고 있다. '레드팀'의 명칭은 냉전 시기 미군의 모의 군사 훈련 과정에서 유래했다. 아군인 블루팀의 취약점을 파악하기 위해 편성한 가상의 적군을 레드팀으로 지칭한 것이다.

레드팀은 조직의 기술이나 서비스 취약점을 발견·검증하기 위해 의도적으로 공격하는 역할을 맡는다. 통상 테크기업에서 레드팀은 소프트웨어(SW)의 보안을 강화하는 역할을 담당한다. 실제 사이버 공격처럼 자사 SW를 직접 해킹해 취약점을 분석하는 식이다. 얻어낸 결과는 SW 개발자에게 전달해 보안 강화 작업을 돕는다.

AI 레드팀은 AI 기술의 확산과 함께 등장한 레드팀의 업그레이드 버전이다. AI 레드팀은 AI 시스템의 결함과 취약성을 식별하기 위해 단점을 일부러 공격하는 역할을 수행한다. 가령, 특정한 명령어를 통해 생성형 AI가 제공하지 말아야 하는 부적절한 답변을 이끌어내 AI의 약점을 제시한다. 아울러 AI 제품의 윤리성과 신뢰성을 향상하기 위한 연구도 진행한다.

마이크로소프트, 구글, 엔비디아, 네이버클라우드 등 국내외 빅테크 기업은 앞다퉈 AI 레드팀을 구축·운영하고 있다. AI 모델의 성능만큼이나 정보의 정확성과 신뢰성, 안전성도 중요해졌기 때문이다.

이런 흐름에 발맞춰 과학기술정보통신부는 4월 11~12일 강남구 코엑스에서 '생성형 인공지능(AI) 레드팀 챌린지'를 연다. 1000여명의 참가자가 네이버클라우드, SK텔레콤, 업스테이지 등 국내를 대표하는 AI 기업의 모델을 대상으로 AI 레드팀의 역할을 하는 챌린지다.

과기정통부는 이번 레드팀 챌린지 결과를 분석해 생성형 AI 분야의 공통 위험을 도출하고 '생성형 AI 레드팀 수행가이드라인'을 마련하는 등 표준화한 AI 위험 대응체계를 구축해 나갈 계획이다.

홍승주 더스쿠프 기자
hongsam@thescoop.co.kr

Copyright © 더스쿠프. 무단전재 및 재배포 금지.