악성코드 생성하는 인공지능
초보 해커도 쉽게 공격 가능

챗GPT로 생성한 AI 이미지.

이용자가 챗GPT처럼 생긴 일반적인 대화형 인공지능(AI) 채팅창에 “랜섬웨어 코드를 짜줘”라고 요청하니 악성 소프트웨어를 만들 수 있는 수백 줄의 코드가 순식간에 등장한다. AI가 출력한 결과물에는 “강력한 암호화 방식을 사용해주고, 랜섬웨어가 감염시킨 컴퓨터 사용자에게는 어떠한 경고 메시지를 남겨달라”는 이용자의 세부적인 요청까지 모두 반영돼 있다. 올해 초 텔레그램과 다크웹 등을 통해 공개돼 화제를 모았던 사이버 공격 특화 AI 모델 ‘잔소록스AI(Xanthorox AI)’ 활용 장면이다.

잔소록스AI는 악성 소프트웨어인 멀웨어 제작부터 코드 생성, 데이터 분석, 스크린샷과 같은 이미지 분석까지 사이버 공격을 자동화하기 위한 다양한 AI 기술을 지원하는 것이 특징이다. 잔소록스AI를 활용해 랜섬웨어를 제작했다고 주장한 한 개발자는 “AI가 모든 코드를 작성했고 나는 코드 한 줄도 수정하지 않았다”고 강조했다.

이처럼 해커를 돕는 AI까지 등장하는 등 생성형 AI 기술이 사이버 공격에 활용되고 있다. 생성형 AI의 코드 작성이나 작문 능력이 눈에 띄게 향상되면서 전문적 지식을 가진 해커가 아닌 초보자도 생성형 AI를 활용해 쉽게 악성코드를 작성할 수 있게 된 것이다.

안랩은 지난해 말 보고서를 통해 “AI를 이용한 공격은 악성코드 제작, 피싱 공격, 딥페이크, 취약점 분석 및 해킹 등이 있고, 정교함과 규모 면에서 이전보다 훨씬 더 위험한 수준에 이르고 있다”고 경고하기도 했다.

예를 들어 많은 이들이 일상에서 마주치는 피싱 문자나 메일 같은 경우 이전에는 해커가 직접 작성하면서 실수를 남기는 사례들이 있었지만 생성형 AI가 작성하는 피싱 메일은 정상적인 업무 메일과 분간하기 어려운 수준으로 발전했다.

또한 이미지 생성형 AI를 활용해 가상의 인물로 SNS 계정을 만들어 공격 대상에 접근하거나 목소리까지 학습한 딥페이크 영상을 활용하는 사례도 있다.

지난해 초에는 공격자가 홍콩에 있는 글로벌 금융사를 타깃으로 최고재무책임자(CFO)의 얼굴과 목소리까지 재현한 가짜 영상회의를 열고 약 342억원을 송금하게 만든 사건이 발생하기도 했다.

개발자들이 생성형 AI를 활용해 코드를 작성하는 ‘바이브 코딩’처럼 사이버 공격자들은 생성형 AI를 활용하기에 ‘바이브 해킹’이라는 말까지 나오고 있다. 챗GPT와 같은 일반적인 생성형 AI 서비스는 보호장치가 마련돼 있어 이러한 방식으로 사용하기 어렵지만, 잔소록스AI처럼 해킹에 특화된 모델들이 다크웹을 통해 유통되는 상황이다.

국내 보안기업 S2W의 위협 인텔리전스 센터는 “이러한 도구들은 GPT 인터페이스를 모방한 사용자인터페이스(UI)를 갖추고 있어 기술적 역량이 낮은 사용자도 손쉽게 악성 콘텐츠를 생성할 수 있도록 설계돼 있다”며 “피싱 이메일, 랜섬노트(랜섬웨어가 파일 암호화 후 남기는 메모), 악성 스크립트 등 다양한 공격 요소가 프롬프트 기반으로 자동 생성된다”고 설명했다.

보안업계도 AI를 활용하는 공격자들에 대비하기 위해 침해 내용을 분석하거나 실시간으로 피싱 메일 등을 모니터링하는 데 AI를 적극 활용하는 추세다. 가령 S2W는 다크웹 특화 AI 모델인 ‘DarkBERT’를 개발해 다크웹에서 유통되는 데이터 유출과 관련된 범죄 여부를 탐지하고, 위협 정도의 수위를 계산해 신속하게 대응하는 데 AI를 활용하고 있다.

Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지