【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]알아서 일하는 AI 에이전트, ‘행동 기록’이 신뢰 좌우 [AI 운영②]

온카뱅크관리자

2026-07-09 07:07:29

<div id="layerTranslateNotice" style="display:none;"></div> 관측 데이터 보호와 감사 로그가 새 과제 AI 행동 전 과정을 기록·분석하는 운영 체계 필요 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="FuiQu2AiLv">
 생성형 인공지능(AI)이 기업 업무 시스템으로 들어오면서 운영 관리의 기준도 바뀌고 있다. 기존 모니터링은 서버 장애와 응답 지연을 잡는 데 초점을 맞췄지만, AI 서비스는 정상 응답 안에서도 오답, 환각, 잘못된 근거 문서 사용, 권한 밖 도구 호출이 발생할 수 있다. AI 운영의 새 과제로 떠오른 AI 옵저버빌리티(Observability·관측 가능성)를 기존 애플리케이션 성능 관리(APM)와 비교해 짚고, AI 에이전트 확산에 따른 관측·보안·감사 체계 과제를 살펴본다. [편집자 주]
 <div contents-hash="141ccdb5a461e970b385d7c215b0669df682ef8788955de149c83416b4fcf466" dmcf-pid="0VcLVMOcnl" dmcf-ptype="general">
 기업의 AI 활용은 생성형 AI 기반 챗봇 단계를 지나 최근 AI 에이전트를 활용한 업무 자동화로 빠르게 발전하고 있다. AI 에이전트는 단순히 질문에 답하는 데 그치지 않는다. 목표를 나누고, 외부 도구를 호출하고, 업무 시스템과 상호작용하며 실제 작업을 수행한다. 기업은 이제 AI가 어떤 답을 했는지뿐 아니라 어떤 판단으로 어떤 도구를 썼는지까지 추적해야 한다.
 </div>
 <figure class="figure_frm origin_fig" contents-hash="be5a604e3a218c8a90b81c4bac993d8718eaceca1a32354fc72eef86846f1892" data-idxno="447087" data-type="photo" dmcf-pid="pfkofRIkJh" dmcf-ptype="figure">
 <img alt="AI 에이전트에 대한 옵저버빌리티는 실행 과정을 추적하고 기록해야 한다. / 챗GPT 생" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/09/552810-SDi8XcZ/20260709070004846copa.png" data-org-width="600" dmcf-mid="tCXvAspXLT" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/09/552810-SDi8XcZ/20260709070004846copa.png" width="658">
 <figcaption class="txt_caption default_figure">
 AI 에이전트에 대한 옵저버빌리티는 실행 과정을 추적하고 기록해야 한다. / 챗GPT 생
 </figcaption>
 </figure>
 옵저버빌리티 관점에서 챗봇형 AI는 사용자 질문과 모델 답변을 중심으로 문제 원인을 좁힐 수 있다. 반면 AI 에이전트는 실행 과정이 길고 복잡하다. 사내 문서를 검색한 뒤 고객관리시스템(CRM)을 조회하고, 일정 등록이나 결재 요청 같은 후속 작업을 수행할 수 있다. 같은 지시라도 입력 문맥, 권한, 도구 상태에 따라 실행 경로가 달라질 수 있다.
 이 때문에 AI 에이전트 운영에서는 의사결정 경로, 도구 호출 순서, 권한 행사 내역, 외부 애플리케이션 프로그래밍 인터페이스(API) 응답, 비용 발생 지점까지 함께 봐야 한다. 단순히 "작업이 완료됐다"는 결과만으로는 운영자가 문제 원인을 파악하기 어렵다. 어떤 단계에서 잘못된 판단이 들어갔는지, 어떤 도구가 잘못 호출됐는지 확인할 수 있어야 한다.
 정영석 데이터독코리아 기술팀 리더는 "실제 업무를 수행하는 AI 에이전트가 무슨 답변을 했는가뿐만 아니라 어떤 시스템을 어떤 권한으로 호출했고, 어떤 결과를 반환받아 최종 행동을 결정했는가까지를 하나의 실행 흐름으로 추적할 수 있어야 한다"고 말했다.
 도구 호출 늘수록 가드레일·감사 로그 중요
 AI 에이전트가 외부 도구와 업무 시스템을 직접 호출하기 시작하면 운영 감시는 보안 통제와 맞물린다. 잘못된 프롬프트가 단순 오답으로 끝나지 않고 권한 밖 조회, 부적절한 API 호출, 민감정보 노출로 이어질 수 있기 때문이다. 이에 따라 입력과 출력을 검사하는 가드레일의 역할도 커지고 있다.
 AI 서비스는 프롬프트 인젝션, 탈옥 시도, 개인정보 노출, 내부 정보 유출 위험을 안고 운영된다. 이때 가드레일은 위험 명령을 차단하거나 민감정보를 마스킹하고, 금지 주제 응답을 막는 장치가 된다.
 다만 가드레일만으로 AI 운영 리스크를 통제하기는 어렵다. 공격자는 우회 문구와 입력 방식을 계속 바꾼다. 따라서 사전에 정의한 규칙이나 분류 모델이 모든 위험을 잡는다고 보기 어렵다. 가드레일의 차단·허용 결과만 기록해서는 같은 문제가 반복돼도 원인을 좁히기 어렵다. 어떤 프롬프트에서 위험 신호가 나왔는지, 어떤 검색 문서가 함께 쓰였는지, 어떤 모델 응답이 생성됐는지, 어떤 정책이 차단을 결정했는지를 하나의 실행 이력으로 묶어야 사후 분석과 정책 개선이 가능하다.
 감사 로그도 차세대 AI 옵저버빌리티의 핵심 요건이다. AI가 고객에게 답변하거나 업무 시스템에서 작업을 수행했다면 기업은 나중에 그 결정 과정을 설명할 수 있어야 한다. 어떤 데이터가 쓰였고, 어떤 모델이 답했으며, 어떤 정책과 권한이 적용됐는지 남겨야 한다. 에이전트가 어떤 계정 권한으로 업무 시스템에 접근했는지, 사람의 승인 없이 실행 가능한 작업 범위가 어디까지였는지도 기록해야 한다.
 감사 가능성은 금융, 의료, 공공, 제조처럼 규제와 책임 소재가 중요한 산업에서 더 필요하다. AI가 잘못된 상품 안내를 했거나 권한 밖 정보를 참조했거나 부적절한 업무 처리를 했다면 기업은 해당 결과가 만들어진 과정을 재구성해야 한다. 감사 로그가 없으면 원인 분석뿐 아니라 내부통제와 대외 설명도 어려워진다.
 관측 데이터도 보호 대상…메타데이터 중심 관리 필요
 관측 데이터 자체의 보안도 과제로 꼽힌다. AI 옵저버빌리티는 프롬프트와 응답, 참조 문서, 도구 호출 기록을 다룬다. 이 안에는 고객 개인정보, 임직원 정보, 영업기밀, 내부 업무 절차가 포함될 수 있다. 원인 분석을 위해 데이터를 많이 남길수록 관측 시스템 자체가 민감정보 저장소가 되는 셈이다. 따라서 기업은 AI 관측 데이터를 일반 운영 로그가 아닌 별도 보호 대상으로 관리해야 한다.
 운영자는 프롬프트 원문, 응답 내용, 참조 문서, 도구 호출 기록을 그대로 남기기보다 민감정보 마스킹, 접근통제, 암호화, 보관 기간, 감사 권한을 함께 정해야 한다. 운영상 필요한 최소 범위를 정하고, 상세 데이터 접근은 제한된 권한 안에서 이뤄지도록 해야 한다.
 정 리더는 "실제 운영에서 모든 데이터를 저장한다는 접근은 현실적이지 않다"며 "비용도 크고 개인정보나 기업의 민감한 정보가 포함될 가능성도 높기 때문"이라고 말했다. 이어 "프롬프트 템플릿 버전, 검색된 문서 ID, 사용한 모델 버전, 토큰 사용량, 응답 시간 같은 메타데이터는 장기간 보관하되 프롬프트 원문이나 대규모언어모델(LLM) 응답, 검색된 문서 내용처럼 민감한 데이터는 마스킹하거나 짧은 기간만 보관하는 방식을 주로 권장한다"고 덧붙였다.
 관측 범위는 서비스 위험도에 따라 달라져야 한다. 고객 영향이 큰 업무, 개인정보가 포함될 가능성이 높은 요청, 장애나 품질 이슈가 발생한 요청은 더 세밀하게 추적하되 정상 요청은 메타데이터 중심으로 관리하는 방식이 현실적이다. AI 에이전트는 여러 단계를 거쳐 작업하는 만큼 추적 이벤트가 빠르게 늘어난다. 보안과 비용을 함께 관리하려면 상세 데이터와 메타데이터를 목적에 맞게 구분해 남기는 기준이 필요하다.
 APM·보안관제·LLM옵스 경계 허무는 'AI 옵저버빌리티'
 업계는 AI 옵저버빌리티를 기존 APM과 보안관제, LLM 운영 도구가 만나는 영역으로 본다. 기존 관측 플랫폼은 LLM 호출과 에이전트 실행 흐름을 추적하는 기능을 추가하며, AI 운영 도구는 프롬프트·응답·토큰·평가·사용자 피드백을 요청 단위로 기록하는 방향으로 발전하고 있다. 보안 영역에서는 가드레일과 감사 로그, 데이터 보호 기능을 결합하려는 움직임도 활발하다.
 차세대 AI 옵저버빌리티의 핵심은 대시보드를 더 많이 만드는 데 있지 않다. 사용자의 요청이 들어온 순간부터 모델 호출, 문서 검색, 도구 실행, 보안 정책 적용, 최종 응답까지 이어지는 흐름을 재구성할 수 있는지가 중요하다. 운영자는 이 흐름을 바탕으로 오답 원인, 권한 오남용, 비용 급증, 보안 차단 사유를 하나의 사건으로 볼 수 있어야 한다.
 AI 에이전트가 업무 시스템 안으로 들어와 점점 많은 일을 할수록 운영 감시는 단순 상태 확인에서 통제와 감사 영역까지 역할이 확장된다. 기업의 AI 신뢰성은 모델 성능만으로 확보되지 않는다. AI가 어떤 데이터와 권한을 바탕으로 판단했고, 어떤 경로로 행동했으며, 그 이력이 안전하게 남아 있는지가 핵심이다.
 정종길 기자 jk2@chosunbiz.com
 </section> 
 </div> 
 Copyright © IT조선. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기