【오즈커뮤-OZcommunity】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 스포츠뉴스 : 안구정화 놀이터홍보 놀이터후기공유 피해사례공유

로그인

글쓰기

[실시간뉴스][경제용어사전] 구글, 엔비디아가 운영하는 AI 레드팀의 실체

온카뱅크관리자

2024-04-01 10:09:34

<div id="layerTranslateNotice" style="display:none;"></div> Econopedia 주목 받는 AI 레드팀 단점 일부러 공격해 AI 시스템 결함 식별 윤리성 향상 연구도 국내외 빅테크 기업들 앞다퉈 AI 레드팀 구축 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="xvXjLgJqxn">
 <figure class="figure_frm origin_fig" dmcf-pid="yjr62fbYPi" dmcf-ptype="figure">
 <img alt="국내외 빅테크 기업은 앞다퉈 AI 레드팀을 구축·운영하고 있다.[사진=뉴시스]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202404/01/thescoop1/20240401085501208cxpo.jpg" data-org-width="805" dmcf-mid="6vNYSTCn6g" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202404/01/thescoop1/20240401085501208cxpo.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 국내외 빅테크 기업은 앞다퉈 AI 레드팀을 구축·운영하고 있다.[사진=뉴시스]
 </figcaption>
 </figure>
 ■ AI 레드팀(Red Team) = 최근 인공지능(AI) 레드팀이 AI 안전과 신뢰성을 확보할 수 있는 핵심적인 방법으로 주목받고 있다. '레드팀'의 명칭은 냉전 시기 미군의 모의 군사 훈련 과정에서 유래했다. 아군인 블루팀의 취약점을 파악하기 위해 편성한 가상의 적군을 레드팀으로 지칭한 것이다.
 레드팀은 조직의 기술이나 서비스 취약점을 발견·검증하기 위해 의도적으로 공격하는 역할을 맡는다. 통상 테크기업에서 레드팀은 소프트웨어(SW)의 보안을 강화하는 역할을 담당한다. 실제 사이버 공격처럼 자사 SW를 직접 해킹해 취약점을 분석하는 식이다. 얻어낸 결과는 SW 개발자에게 전달해 보안 강화 작업을 돕는다.
 AI 레드팀은 AI 기술의 확산과 함께 등장한 레드팀의 업그레이드 버전이다. AI 레드팀은 AI 시스템의 결함과 취약성을 식별하기 위해 단점을 일부러 공격하는 역할을 수행한다. 가령, 특정한 명령어를 통해 생성형 AI가 제공하지 말아야 하는 부적절한 답변을 이끌어내 AI의 약점을 제시한다. 아울러 AI 제품의 윤리성과 신뢰성을 향상하기 위한 연구도 진행한다.
 마이크로소프트, 구글, 엔비디아, 네이버클라우드 등 국내외 빅테크 기업은 앞다퉈 AI 레드팀을 구축·운영하고 있다. AI 모델의 성능만큼이나 정보의 정확성과 신뢰성, 안전성도 중요해졌기 때문이다.
 <figure class="figure_frm origin_fig" dmcf-pid="Xu9TClsd6M" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202404/01/thescoop1/20240401085502478ltnx.jpg" data-org-width="692" dmcf-mid="QmCR6Qf54L" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202404/01/thescoop1/20240401085502478ltnx.jpg" width="658">
 </figure>
 이런 흐름에 발맞춰 과학기술정보통신부는 4월 11~12일 강남구 코엑스에서 '생성형 인공지능(AI) 레드팀 챌린지'를 연다. 1000여명의 참가자가 네이버클라우드, SK텔레콤, 업스테이지 등 국내를 대표하는 AI 기업의 모델을 대상으로 AI 레드팀의 역할을 하는 챌린지다. 
 과기정통부는 이번 레드팀 챌린지 결과를 분석해 생성형 AI 분야의 공통 위험을 도출하고 '생성형 AI 레드팀 수행가이드라인'을 마련하는 등 표준화한 AI 위험 대응체계를 구축해 나갈 계획이다.
 홍승주 더스쿠프 기자 hongsam@thescoop.co.kr
 </section> 
 </div> 
 Copyright © 더스쿠프. 무단전재 및 재배포 금지.