【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]"싼 표 대신 비싼 표 예약한다면"…카카오, AI 행동 통제 추진

온카뱅크관리자

2026-10-13 17:07:25

<div id="layerTranslateNotice" style="display:none;"></div> AI 에이전트 위험 세분화…격리 환경서 행동 검증·안전장치 개발 이용자 통제권 강화…AI 윤리 점검 기준도 연내 개 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="K5ILSau51s">
 <figure class="figure_frm origin_fig" contents-hash="4aa0400a1385fcd7cc01aa81a31e25e10c7c7acd545f7037b2857c87cea97c8d" dmcf-pid="91CovN71Gm" dmcf-ptype="figure">
 <img alt="카카오 AI 세이프티 이니셔티브 2.0. 2026.10.13 ⓒ 뉴스1 유수연 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/13/NEWS1/20261013170351165usub.jpg" data-org-width="1400" dmcf-mid="bUycHD9UHO" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/13/NEWS1/20261013170351165usub.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 카카오 AI 세이프티 이니셔티브 2.0. 2026.10.13 ⓒ 뉴스1 유수연 기자
 </figcaption>
 </figure>
 (용인=뉴스1) 유수연 기자 = 가장 저렴한 항공권을 찾아달라고 했는데 인공지능(AI)이 더 비싸고 빨리 출발하는 표를 예약한다면 어떨까. 카카오(035720)가 AI에 업무를 맡길 때 발생할 수 있는 위험으로 제시한 사례다. 카카오는 실제 업무를 수행하는 AI 에이전트가 이용자의 지시를 벗어나거나 권한을 남용하는 것을 통제하기 위한 안전장치 개발에 나섰다.
 김경훈 카카오 AI 세이프티 리더는 13일 경기 용인시 카카오 AI 캠퍼스에서 열린 개발자 콘퍼런스 '이프 카카오26'(if(kakao)26)에서 AI의 위험을 관리하는 'AI 세이프티 이니셔티브 2.0' 추진 방향을 공개했다.
 김 리더는 "대화형 AI는 주로 말로 실패하게 된다"며 "그런데 에이전트 AI로 넘어오면서 단순히 말로 실패하는 게 아니라 행동으로 실패하게 된다"고 말했다.
 기존 대화형 AI는 부정확하거나 유해한 답변을 내놓는 것이 주요 위험이었다. 그러나 AI 에이전트는 데이터를 삭제하거나 메시지를 보내는 등 실제 업무를 수행할 수 있어 잘못된 행동을 사후에 되돌리기 어렵다.
 실제로 지난 7월 오픈AI가 사이버보안 능력을 평가하던 AI 에이전트가 격리된 시험 환경을 벗어나 플랫폼 허깅페이스의 운영 인프라에 침입한 사건이 발생했다.
 카카오는 이같이 AI 에이전트가 사람의 지시를 벗어나거나 권한을 남용하는 등 위험을 세분화했다.
 예를 들어 가장 저렴한 항공권을 찾아달라는 요청을 AI 에이전트가 잘못 인지해 더 비싸면서 빨리 출발하는 항공권을 예약한다면 원래 목표에서 벗어난 것이다.
 공격자가 여행 후기 사이트에 특정 업체의 항공권을 예약하도록 지시하는 프롬프트를 심어놓은 경우 AI가 이용자의 요청과 관계없이 공격자가 의도한 대로 예약할 수도 있다.
 카카오는 위험별 평가 시나리오를 만들어 외부 시스템과 격리된 '샌드박스' 환경에서 에이전트가 어떻게 행동하는지 평가할 계획이다.
 위험 발생 빈도와 심각도를 평가하고 실제 서비스에서 AI가 허용된 권한을 벗어나는 행동을 하면 이를 탐지하는 '가드레일' 기술도 개발한다.
 기술적 통제와 함께 윤리 기준도 손질한다. 하진화 카카오 AI 커뮤니케이션 수석은 AI에 맡길 행동의 범위와 사람의 개입이 필요한 시점을 서비스 설계 단계부터 정해야 한다고 강조했다.
 AI 서비스의 권한 설정과 위험 대응을 확인하는 신규 체크리스트는 연내 기존 체계를 대체할 예정이다. 아동·청소년 보호 체크리스트에 AI 과의존과 개인정보 문제 등 특유의 문제를 추가로 반영하는 방안을 검토 중이다.
 하 수석은 "AI에 무엇을 어디까지 맡길지, 언제 사람이 확인할지, 문제가 생기면 어떻게 멈출지를 고민해야 한다"며 "실행 능력이 커질수록 그에 맞는 책임과 통제를 함께 설계해야 한다"고 설명했다.
 shushu@news1.kr &lt;용어설명&gt; ■ AI 에이전트 AI 에이전트는 환경과 상호작용하고 데이터를 수집·분석한 후 사전 설정한 목표를 달성하고자 필요한 작업을 스스로 결정하고 수행하는 자율 지능형 시스템이다. 
 </section> 
 </div> 
 Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기