카이스트, 작곡하는 AI '어뮤즈' 선보여
텍스트·이미지 넣으면 음악 코드 생성
부자연스러운 흐름 걸러내는 기능까지
뮤지션과 AI 공존 염두에 둔 新 시스템

카이스트와 미국 카네기맬런대 공동 연구진이 개발한 음악 생성형 인공지능(AI) '어뮤즈'의 화면. 오른쪽 아래에 텍스트와 이미지를 입력하면 그에 어울리는 코드 흐름이 자동으로 생성돼 왼쪽 위에 나타난다. 유튜브 캡처

한 작곡가가 곡을 쓰다 난관에 부딪혔다. 중간부의 코드 흐름을 어떻게 만들어야 할지 갈피를 잡지 못하던 그는 창작 인공지능(AI)을 켰다. '몽환적인 재즈'라는 키워드와 함께 안개 낀 골목길 사진을 입력하자, AI는 막힘 없이 코드 흐름을 '창작'해냈다. 불협화음이 나거나 재즈 이론에 부합하지 않는 코드는 알아서 선별해 지웠다. 작곡가의 의도에 맞는 몇 가지 코드 흐름이 최종 결과물로 화면에 나타났다. 작곡가는 그 중 자신이 만들고 있던 곡의 흐름에 가장 부합하는 코드를 선택해 악보에 끼워 넣었다.

아직은 상상인 이런 상황이 머지않아 현실이 될 거란 전망이 나온다. 생성형 AI가 인간 뮤지션과 더불어 작사와 작곡 영역을 넘나들며 음악을 만들 날이 얼마 안 남았다는 얘기다. 한미 공동 연구진이 선보인 '작곡하는 AI'가 예술의 또 다른 미래를 보여주고 있다.

AI가 코드 제시하면 작곡가가 음 조합

7일 한국과학기술원(KAIST·카이스트)과 미국 카네기맬런대 공동 연구진은 AI 기반의 작곡 지원 시스템 '어뮤즈'(Amuse)를 개발했다고 밝혔다. 텍스트뿐 아니라 이미지, 오디오 등 다양한 콘텐츠(다중 모달)를 입력 받아 화성 구조(코드 흐름)를 생성해내는 시스템이다. 이 기술을 담은 논문은 최근 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 국제학술대회(CHI)에서 최우수상을 받았다.

어뮤즈의 가장 큰 특징은 작곡 과정에 쓸 수 있는 코드 흐름을 제공한다는 점이다. 창작자는 이를 변형하거나 응용해 음악을 만들 수 있다. 예컨대 어뮤즈가 C코드에서 G코드로 이어지는 흐름을 제공하면 창작자는 그 코드에 맞는 개별 음을 조합해 작곡을 마무리하는 식이다. 생성 가능한 코드 흐름의 개수나 길이에 제한도 없어 창작자가 원하는 만큼 조정해 사용할 수 있다.

연구진은 어뮤즈에게 먼저 특정 음악 스타일이나 장르에 맞는 키워드 체계를 학습시켰다. 사용자가 이미지나 음원을 입력하면 그에 맞는 키워드를 추출할 수 있도록 한 것이다. 이어 인간 작곡가가 만든 다수의 멜로디와 코드 흐름 데이터를 학습시켰고, 음악 이론에 맞지 않는 코드 흐름을 걸러내는 필터링 모델을 구축한 다음 챗GPT의 최신 모델인 4o와 연계했다. 연구진은 "추출된 키워드를 기반으로 GPT 4o가 여러 가지 코드 흐름을 제안하면, 그 중 음악적으로 부자연스러운 걸 걸러내고 결과물로 내놓는다"고 설명했다.

기존 곡 학습한 AI가 표절 곡 만들 확률은

지금은 기능이 코드 흐름 생성으로 한정돼 있지만, 향후 작사나 작곡 전체 영역으로 AI의 역량이 확대되는 건 시간문제일 거란 예상이 많다. 이를 두고 일각에선 저작권을 우려한다. 기존 창작물을 학습한 AI가 원작을 그대로 재현하거나 유사한 결과물을 생성할 경우 저작권 침해 문제가 생길 수 있는 데다, 창작물을 무단으로 학습에 사용했다면 위법 소지도 있어서다. 정원준 한국법제연구원 부연구위원은 "이런 유사 결과물을 상업적으로 활용하면 저작권이나 재산권 침해 책임도 지게 될 수 있다"고 지적했다.

어뮤즈 연구진은 논란을 피하기 위해 "학습 데이터를 그대로 복제하지 않도록 설계했다"고 말했다. 시스템에 오류가 생기지 않는 한 기존 작품과 동일하거나 표절한 수준의 결과물이 나올 가능성은 낮다는 뜻이다. 학습에 사용한 데이터셋(특정 목적을 위해 모은 데이터의 집합)도 공개된 자료이거나 연구진이 직접 구축한 플랫폼에서 수집한 것이라고 했다. 연구를 이끈 이성주 카이스트 전기및전자공학부 교수는 "어뮤즈의 표절 가능성은 인간 창작자 사이에서 우연히 유사한 멜로디가 나오는 확률 수준"이라고 말했다.

연구진은 어뮤즈가 완성된 음원 자체를 결과물로 제시하는 기존의 일반 사용자용 음악 생성형 AI와 다르다는 점도 강조했다. "인간 뮤지션의 창작을 '지원'하는 게 주요 목적"이라는 이 기술이 AI와 인간 창작자의 공존 모델로 발전할 수 있을지 주목된다.

김태연 기자 tykim@hankookilbo.com

Copyright © 한국일보. 무단전재 및 재배포 금지.