【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI도 맞아봐야 방어한다…셀렉트스타 “공격데이터 5000건으로 AI 안전 검증”

온카뱅크관리자

2026-09-17 16:57:25

<div id="layerTranslateNotice" style="display:none;"></div> 고객사 특성 담은 ‘골든 데이터셋’ 구축…100여종 탈옥 공격 자동화 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="yYkv2waeyk">
 <figure class="figure_frm origin_fig" contents-hash="3ff240d9ebf9265ebfc39ba999ac88a92ceda8ed08f1b78d8fa68224aeb9aed5" dmcf-pid="WGETVrNdCc" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/17/552796-pzfp7fF/20260917165048205ifid.png" data-org-width="640" dmcf-mid="xD4LYPKplE" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/17/552796-pzfp7fF/20260917165048205ifid.png" width="658">
 </figure>
 [디지털데일리 오병훈기자] “레드티밍은 취약점을 점검하기 위해 공격을 계속 넣어 일부러 오류를 일으키는 과정입니다. 발견된 취약점이 모델 자체의 문제인지, 프롬프트 템플릿이나 데이터셋의 문제인지까지 파악하는 것이 핵심입니다.”
 이현택 셀렉트스타 글로벌BD팀장은 17일 한국능률협회컨설팅(KMAC)·법무법인 린·셀렉트스타가 공동 개최한 ‘AI 기본법 이후의 실전 대응’ 세미나에서 AI 안전성 확보 전략 중요성을 강조하며 이같이 말했다.
 많은 기업들이 AI 생성물의 불확실성을 줄이기 위해 레드티밍 방식을 채택하고 있다. 정상 사용 환경만 시험하는 것이 아니라 일부러 오류를 유발하는 공격 질문과 함정을 AI에 넣어 모델이 무너지는 지점을 찾는 과정이다.
 이 팀장은 이를 보안 분야 취약점 테스트와 유사한 방식이라고 설명했다. 금융에서는 대출심사 편향이나 정보 탈취, 의료에서는 환각에 따른 오진과 개인정보 유출 등 에이전트의 잘못된 제어 명령 등이 주요 검증 대상이다.
 이를 위해 셀렉트스타는 AI 신뢰성 평가 플랫폼 ‘다투모(Datumo)’를 주력 서비스로 제공하고 있다. 다투모에는 정확성·환각·안전성·에이전트 특화 평가 등을 위한 131종 지표와 데이터 생성·변형·증강·검증을 위한 45종 모듈이 탑재됐다.
 레드티밍에는 100여종 공격 전략을 적용해 최신 탈옥 방식과 개인식별정보(PII) 탈취 공격을 자동 생성하고 모델에 주입한다. 공격 결과를 분석해 문제가 모델 자체에 있는지, 프롬프트 템플릿이나 데이터셋에서 비롯됐는지도 추적한다.
 이 팀장은 “일반적인 오픈소스 벤치마크만으로는 고객사마다 다른 비즈니스 목적과 평가 목적에 맞춰 규제 위험을 평가하기 어렵다”며 “고객사 매뉴얼이나 약관 같은 원천데이터에 취약계층 시나리오를 결합하고 도메인 전문가 검수를 거쳐 골든 데이터셋을 만든다”고 말했다.
 이어 “이후 오답을 유도하는 적대적 트랩까지 주입해 AI가 실제로 함정에 빠지는지를 정밀하게 측정한다”고 덧붙였다.
 실제 금융권 프로젝트에도 이 같은 방식이 적용됐다. 셀렉트스타는 한 시중은행의 금융 AI 상담·대출심사 시스템에 금융 공격 데이터셋 ‘FinRed’ 5000건을 투입하고 100여종 탈옥 프롬프트 변형 공격을 수행했다. 셀렉트스타가 공개한 결과에 따르면 해당 시스템은 적대적 공격의 99.4%를 방어했다. 금융보안원 보안성 검증 전 항목을 통과했다.
 레드티밍 범위는 생성형 AI 답변을 넘어 ‘에이전틱AI’로도 넓어진다. AI가 외부 API를 호출해 결제나 금융거래, 시스템 제어까지 수행하면 잘못된 명령 한 번이 실제 사고로 이어질 수 있기 때문이다.
 이에 대응해 셀렉트스타는 ▲비인가 API 호출 차단 ▲비정상 쿼리·SQL 인젝션 등을 막는 파라미터 무결성 ▲사용자 권한을 넘어선 명령을 샌드박스로 격리하는 권한 통제를 3대 엔지니어링 가드레일로 제시했다.
 이 팀장은 AI 신뢰성 검증이 서비스 출시 직전 한 번의 시험으로 끝나서는 안 된다고 강조했다. 기획 단계에서 위험과 통과 기준을 정하고, 데이터 구축·모델 평가·레드티밍을 거쳐 실제 운영 이후 로그 모니터링까지 전 생애주기에 평가를 넣어야 한다는 설명이다.
 그는 “AI 기본법은 방향성을 제시하지만 현장에서 서비스 안전성을 담보하려면 무슨 테스트를 어떻게 해야 하는지 구현하는 것은 쉽지 않다”며 “법률 판단과 거버넌스에 이어 실제 기술을 실측하고 성적서로 만드는 기술적 어슈런스까지 결합돼야 실효성 있는 대응 체계를 만들 수 있다”고 말했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기