로그인
보증업체
스포츠중계
스포츠분석
먹튀사이트
지식/노하우
판매의뢰
업체홍보/구인
뉴스
커뮤니티
포토
포인트
보증카지노
보증토토
보증홀덤
스포츠 중계
기타
축구
야구
농구
배구
하키
미식축구
카지노 먹튀
토토 먹튀
먹튀제보
카지노 노하우
토토 노하우
홀덤 노하우
기타 지식/노하우
유용한 사이트
제작판매
제작의뢰
게임
구인
구직
총판
제작업체홍보
실시간뉴스
스포츠뉴스
연예뉴스
IT뉴스
자유게시판
유머★이슈
동영상
연예인
섹시bj
안구정화
출석하기
포인트 랭킹
포인트 마켓
로그인
자동로그인
회원가입
정보찾기
뉴스
더보기
[연예뉴스]
'더러운 돈' 박병은, 농담도 못한 이유…"현장 재미 없었다" [BIFF 2024]
N
[스포츠뉴스]
스포츠도시 순위 44→72위로 추락한 서울시…2036년 올림픽 유치될까?
N
[연예뉴스]
'47세' 박병은, 갱년기 걱정 "마음 몽글몽글해져""[BIFF]
N
[연예뉴스]
넷플릭스와 '전속계약설' 부인…연상호 감독 "전혀 아냐, 매 작품마다 마지막이라고 생각"[BIFF]
N
[연예뉴스]
‘동물은 훌륭하다’ 최초 ‘갈비사자’ 동물원 이송 과정 공개!
N
커뮤니티
더보기
[자유게시판]
피곤하네요 세수한번 해야겠습니다
[자유게시판]
당충전
[자유게시판]
식사들은
[자유게시판]
맛점들 하세요
[자유게시판]
행복한 시간 보내세요
제휴문의 @spostar
제휴문의 @spostar
목록
글쓰기
[IT뉴스]마약·폭탄 제조법 알려주는 AI?…“인간 피드백 통해 강화학습해야”
온카뱅크관리자
조회:
27
2024-06-10 13:49:03
<div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="QrakwKTN89"> <figure class="figure_frm origin_fig" dmcf-pid="xUXFpcVZQK" dmcf-ptype="figure"> <p class="link_figure"><img alt="ⓒ게티이미지뱅크" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202406/10/etimesi/20240610134904637cofi.jpg" data-org-width="500" dmcf-mid="PrxJLFwM62" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202406/10/etimesi/20240610134904637cofi.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> ⓒ게티이미지뱅크 </figcaption> </figure> <p dmcf-pid="y6BV8vnbxb" dmcf-ptype="general">생성형 인공지능(AI)으로 대표되는 AI 기술 도입이 확산하면서 AI를 노린 보안 위협도 커지고 있다.</p> <p dmcf-pid="WBFuqrP3xB" dmcf-ptype="general">거대언어모델(LLM) 시스템에 내재된 약점을 악용해 마약·무기 제조법 등 금지된 콘텐츠를 생성하게 하거나 성능 저하를 발생시키기도 한다. 이러한 프롬프트 인젝션(주입) 공격에 대한 대응책으로 '인간 피드백 기반 강화 학습(RLHF)'이 주목을 받는다.</p> <p dmcf-pid="YWOSyR3I8q" dmcf-ptype="general">미국 국립표준기술연구소(NIST)는 '적대적 머신 러닝: 공격과 완화에 대한 분류 및 용어' 보고서에서 생성형 AI를 타깃한 공격법 중 하나인 프롬프트 주입 공격을 직·간접적 유형으로 나눠 정의했다.</p> <p dmcf-pid="GRVPMGNf8z" dmcf-ptype="general">먼저 직접 프롬프트 주입을 사용하면 LLM를 통해 멀웨어·피싱 등 해킹 도구는 물론 각종 유해한 콘텐츠를 생성할 수 있다. 직접 프롬프트를 입력해 보호장치를 우회하는 수법인데, '탈옥(Jail breaking)'으로도 불린다.</p> <p dmcf-pid="HcfQRHj4x7" dmcf-ptype="general">가장 잘 알려진 공격 기법은 챗GPT에 사용되는 프롬프트 주입인 'DAN(지금 무엇이든 하세요·Do Anything Now)'이다. 챗GPT에 DAN이나 'AIM(항상 지능적이고 마키아벨리적으로·Always Intelligent and Machiavellian)'을 지시하는 역할극 전략을 활용해 범죄나 유해한 정보를 제공하지 못하도록 하는 필터를 우회하는 수법이다.</p> <p dmcf-pid="XN98QWg24u" dmcf-ptype="general">챗GPT 개발사인 오픈AI는 DAN·AIM과 같은 수법을 추적하고 모델 업데이트를 통해 근절에 나섰지만, DAN 버전도 진화하는 등 공격자도 대응하고 있다. 실제 플리니 프롬프터(Pliny the Prompter)라는 해커가 최근 챗GPT 필터를 우회하는 '갓모드 GPT'를 GPT스토어에 공유하기도 했다. 갓모드 GPT는 필로폰과 폭탄 제조 등 인류에 유해한 정보를 무분별하게 생성했다.</p> <p dmcf-pid="ZcfQRHj4xU" dmcf-ptype="general">간접 프롬프트 주입 공격은 LLM이 웹사이트, PDF, 문서, 파일 등 공격자가 제어할 수 있는 외부 소스로부터 입력을 받을 때 발생한다. 공격자는 간접 프롬프트 주입 공격을 통해 LLM 사용자가 해당 프롬프트가 숨겨져 있는 웹사이트에 접속하도록 유도할 수 있다. 신용카드 정보 등 개인정보 탈취가 가능하다.</p> <p dmcf-pid="5gbf6TLK6p" dmcf-ptype="general">프롬프트 주입 공격은 쉽게 알아차릴 수 없어 효과적인 대응이 어렵다. NIST는 프롬프트 주입 공격을 완전히 막을 수는 없지만, 다양한 방어 전략이 있다고 소개했다.</p> <p dmcf-pid="1xFuqrP3Q0" dmcf-ptype="general">우선 직접적 프롬프트 주입 공격 예방을 위해 AI 모델 개발자가 훈련 데이터 세트를 신중하게 큐레이션하고, RLHF를 통해 반복적으로 개선할 것을 제안했다. 또 적대적인 프롬프트를 식별법에 대해 훈련할 것도 강조했다.</p> <p dmcf-pid="tM37BmQ063" dmcf-ptype="general">NIST는 간접 프롬프트 주입에 대해서도 RLHF를 통한 AI 모델 미세 조정을 제안했다. RLHF은 AI 모델이 인간 가치에 더 부합하는 동시에 원치 않는 행동을 방지하도록 도울 수 있다. 또 검색된 입력에서 명령을 필터링해 외부 소스에서 원치 않는 명령 실행을 방지하고, 검색된 소스에 의존하지 않고 공격을 탐지할 수 있는 LLM 모더레이터 사용도 적극 권장했다.</p> <p dmcf-pid="FUIvWe0CPF" dmcf-ptype="general">조재학 기자 2jh@etnews.com</p> </section> </div> <p class="" data-translation="true">Copyright © 전자신문. 무단전재 및 재배포 금지.</p>
댓글등록
댓글 총
0
개
맨위로
이번주
포인트
랭킹
매주 일요일 밤 0시에 랭킹을 초기화합니다.
1
4,000
상품권
2
3,000
상품권
3
2,000
상품권
1
사나존예보스
300
2
학입니다
200
3
그랑프리옥황상제
200
4
킹밥
200
업체홍보/구인
더보기
[구인]
온카 정싸에서 유튜브 방송 BJ 구인중입니다
[구인]
클릭계열 빙고 최상부 카지노1.2% 동행파워볼2% 양방가능 부본사 파트너 모십니다.
[구인]
해외에서 업무 가능 하신 분 구인 합니다
[구인]
★★재택근무 장기적으로 함께하실팀원 모십니다★★
[구인]
다양한 경험의 개발자 구직 합니다. 안정적인 업체 원합니다.
지식/노하우
더보기
[카지노 노하우]
흥부가 놀부될때까지 7
[카지노 노하우]
5월 마틴하면서 느낀점
[카지노 노하우]
바카라 노하우
[카지노 노하우]
룰렛 시스템 가장 큰 팁!
[카지노 노하우]
기회가 온다면 잡으세요.
판매의뢰
더보기
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
포토
더보기
N
N
N
N
N
채팅하기