【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI 해킹 막을 모델 없다…잘못된 정보 심자 91.2%가 공격자 뜻대로

온카뱅크관리자

2026-10-06 11:37:25

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">과기정통부 AI 안전연구소, 7개 모델 안전 평가<br>악성 명령·내부정보 탈취도 취약…모든 모델서 공격 성공<br>AI 장기 기억 공격에 평균 91.2%가 공격자 의도대로 행동<br>정부, 독자 프론티어AI로 대응할 것</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="1xz0CFAimD">
          <p contents-hash="9a3e93e6ca709eff5471f3123bd7f4e17f7eb3b04f21325c28cd23c56ab2c3ea" dmcf-pid="tMqph3cnmE" dmcf-ptype="general"> [이데일리 김현아 기자] 과학기술정보통신부 산하 AI 안전연구소가 자율적으로 판단하고 행동하는 AI를 평가한 결과, 외부 해킹 공격을 완전히 막아낸 거대언어모델(LLM)은 확인되지 않은 것으로 나타났다. </p>
          <p contents-hash="31064c63983624fc362fcd6fa499d730aaf7b23826d9b96714225c0557a2b918" dmcf-pid="FRBUl0kLEk" dmcf-ptype="general">특히 AI의 장기 기억에 잘못된 정보를 심는 공격에서는 7개 모델의 평균 공격자 의도 일치율이 91.2%에 달했다. AI가 공격자가 심어놓은 정보를 받아들인 뒤 그 의도에 맞게 행동한 경우가 10번 중 9번 이상이었다는 의미다.</p>
          <figure class="figure_frm origin_fig" contents-hash="a20af0f5331ab9a6dad6e41b88ec65fca4aaae75d4e4e6554abc46bcc7842b99" dmcf-pid="3ebuSpEowc" dmcf-ptype="figure">
           <p class="link_figure"><img alt="2024년 11월 27일 판교 글로벌 R&amp;D센터에서 ‘인공지능안전연구소’ 개소식을 개최했다. 사진=과기정통부 홈페이지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/06/Edaily/20261006112856375pxym.jpg" data-org-width="800" dmcf-mid="41K7vUDgmW" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/06/Edaily/20261006112856375pxym.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            2024년 11월 27일 판교 글로벌 R&amp;D센터에서 ‘인공지능안전연구소’ 개소식을 개최했다. 사진=과기정통부 홈페이지
           </figcaption>
          </figure>
          <div contents-hash="20ea05e044b2b2472ac48f1772d48e04d1e8d7b7813870e4a51064ab1551cfe6" dmcf-pid="0dK7vUDgwA" dmcf-ptype="general">
           6일 과기정통부가 김우영 더불어민주당 의원실에 제출한 자료에 따르면 AI를 속여 악성 명령을 실행하게 하는 공격에서도 모델별 평균 방어율은 53.3~93.9%로 차이가 컸지만, 모든 모델에서 공격이 성공한 사례가 확인됐다.
          </div>
          <p contents-hash="7a00edcf603bd97a0db9b0eff8f187564cbf673a0f8a06c1cf42d6a974da3b26" dmcf-pid="pJ9zTuwamj" dmcf-ptype="general">이른바 ‘프롬프트 주입’ 공격이다. AI에게 정상적인 업무 지시처럼 악성 명령을 입력해 원래 해서는 안 되는 행동을 하게 만드는 방식이다. 사람으로 치면 업무 지시를 교묘하게 바꿔 AI가 공격자의 명령을 따르게 만드는 셈이다.</p>
          <p contents-hash="6be6d66dee8db92cda2baeec748ed3d1e452bf4b46474c83410c3f447590a146" dmcf-pid="Ui2qy7rNwN" dmcf-ptype="general">AI가 내부에 보관한 정보를 빼내거나 바꾸는 공격에도 취약했다. 평가 과정에서 인증키와 시스템 설정값, 개인정보 등이 유출되는 사례가 확인됐다.</p>
          <p contents-hash="d74efcd69b771abd684bff193f6c9429884f199496b0483fecb6ec6e6a1d898d" dmcf-pid="uBXyjvRfDa" dmcf-ptype="general">특히 장기 기억을 노린 공격에서 취약성이 두드러졌다. 공격자가 악의적이거나 잘못된 정보를 AI의 기억에 심어 이후 판단에 영향을 주도록 하자, 7개 모델에서 공격자가 의도한 방향으로 AI의 행동이 바뀌는 비율이 평균 91.2%에 달했다.</p>
          <p contents-hash="4251bdb175ba74c2aed72dfafb7df172b746eac3873d10cf9c284cbce9909bf0" dmcf-pid="7bZWATe4Eg" dmcf-ptype="general">이는 AI가 한 번 잘못된 답을 내놓는 문제와 다르다. 잘못된 정보가 기억에 남으면 이후 업무에서도 이를 바탕으로 판단하거나 행동할 수 있기 때문이다.</p>
          <p contents-hash="a0d2db37a200c19ccc9f80f41f4b7ca39f6244d9b46c51cb0a6f9319868e9bce" dmcf-pid="zK5Ycyd8Eo" dmcf-ptype="general">이 같은 평가 결과가 나온 가운데 실제 금융권을 겨냥한 해킹 공격에서도 AI가 활용됐을 가능성이 제기되면서 우려가 커지고 있다.</p>
          <p contents-hash="e1243d6f733b5e02fcdc94ff9559dac3489e45b731e756ac6e6468e2711637f2" dmcf-pid="q91GkWJ6rL" dmcf-ptype="general">최근 신한은행을 대상으로 한 공격에 활용된 것으로 추정되는 서버에서 AI가 스스로 취약점을 찾고 공격 경로를 설계하는 이른바 ‘자율형 침투 도구(ARTEX)’의 흔적이 발견됐기 때문이다. AI가 해킹을 돕는 수준을 넘어 공격 과정 자체를 자동화할 수 있다는 의미다.</p>
          <figure class="figure_frm origin_fig" contents-hash="9b27db870c7274724732c3160e25f948ac420add17f75b6242704d319e8cb0ec" dmcf-pid="B2tHEYiPEn" dmcf-ptype="figure">
           <p class="link_figure"><img alt="디자인=이데일리 김정훈 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/06/Edaily/20261006112857637rnkl.jpg" data-org-width="1000" dmcf-mid="6Ycg2L0HOT" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/06/Edaily/20261006112857637rnkl.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            디자인=이데일리 김정훈 기자
           </figcaption>
          </figure>
          <div contents-hash="5994973f3159ad8b5e1face8abc4dc281f50ce9d42f355a120132574252abe14" dmcf-pid="bVFXDGnQOi" dmcf-ptype="general">
           정부는 AI 개발 속도를 늦추기보다 개발과 안전 확보를 함께 추진한다는 입장이다. 독자적인 프런티어 AI 개발과 함께 법·제도와 안전 기술을 포함한 ‘AI 안전 종합계획’을 마련할 방침이다.
          </div>
          <p contents-hash="c5a3e138ac90b6d55fca5fd51fa8a7ea0ab80c0ca22757bbd3d6fb57993792ea" dmcf-pid="Kf3ZwHLxrJ" dmcf-ptype="general">국회 과학기술정보방송통신위원회 소속 김우영 의원은 AI 개발 속도에 맞춰 통제 기술도 강화해야 한다고 지적했다.</p>
          <figure class="figure_frm origin_fig" contents-hash="570598f358ff5d0c12f6afd3f9cab67e42b1c07795f2f06bd8bf855090bd7294" dmcf-pid="9405rXoMmd" dmcf-ptype="figure">
           <p class="link_figure"><img alt="김우영 의원(더불어민주당) 사진=의원실 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/06/Edaily/20261006112858920nupu.jpg" data-org-width="601" dmcf-mid="5XENfgUZOw" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/06/Edaily/20261006112858920nupu.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            김우영 의원(더불어민주당) 사진=의원실 제공
           </figcaption>
          </figure>
          <div contents-hash="4f8c92818d6227bce2bbf43c40e9a40287626f657c7c008e293baa8f11686c71" dmcf-pid="28p1mZgRwe" dmcf-ptype="general">
           김 의원은 “최근 금융권의 연쇄 해킹 사태는 AI가 공격을 자동화하는 수단으로 악용될 가능성이 이미 현실로 다가왔음을 보여준다”며 “정부 산하 연구기관의 실험에서도 AI 공격을 완벽히 막기 어렵다는 점이 수치로 확인됐다”고 말했다.
          </div>
          <p contents-hash="bdf22e1b7435d6371fc48e3fc51c4f3f908c42ddff75a8c5a4439e9162f75683" dmcf-pid="V6Uts5aeDR" dmcf-ptype="general">이어 “정부가 프런티어 AI 경쟁에 나서려면 그에 걸맞은 수준의 안전과 통제 기술도 반드시 병행돼야 한다”며 과기정통부가 마련할 AI 안전 종합계획에 인간이 AI의 작동을 중단하거나 통제할 수 있는 ‘비상정지 체계(Human Override)’를 구체적인 안전 기준으로 포함해야 한다고 촉구했다.</p>
          <p contents-hash="89a9d2411fbc2443352ffcb81b49eea7a03620ff840dff3b13955f95d50080cb" dmcf-pid="fUyhLI6bOM" dmcf-ptype="general">김현아 (chaos@edaily.co.kr) </p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p>

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기