⁠⁠⁠⁠⁠⁠⁠

연구 방법론을 적용한 사례

최근 텍스트 기반 이미지 생성 모델은 자연어 제공 설명만으로도 고해상도·고품질 이미지를 자동 생성할 수 있다. 하지만, '스테이블 디퓨전 모델'에서 '창의적인'이라는 텍스트를 입력했을 경우, 창의적인 이미지 생성은 아직은 제한적인 수준이다.

이런 가운데 한국과학기술원(KAIST·총장 이광형) 연구진이 스테이블 디퓨전 등 텍스트 기반 이미지 생성 모델에 별도 학습 없이 창의성을 강화할 수 있는 기술을 개발했다.

KAIST는 최재식 김재철AI대학원 교수팀이 네이버 AI랩과 공동 연구로, 추가 학습 없이 AI 생성 모델의 창의적 생성을 강화하는 기술을 개발했다고 19일 밝혔다.

연구팀은 텍스트 기반 이미지 생성 모델 내부 특징 맵을 증폭해 창의적 생성을 강화하는 기술을 개발했다. 또 모델 내부 얕은 블록들이 창의적 생성에 중요한 역할을 한다는 것을 발견하고, 특징 맵을 주파수 영역으로 변환 후, 높은 주파수 영역에 해당하는 부분의 값을 증폭하면 노이즈나 작게 조각난 색깔 패턴의 형태를 유발하는 것을 확인했다. 얕은 블록의 낮은 주파수 영역을 증폭함으로써 효과적으로 창의적 생성을 강화할 수 있음을 보였다.

연구팀은 창의성을 정의하는 두 가지 핵심 요소인 독창성과 유용성을 모두 고려해, 생성 모델 내부의 각 블록 별로 최적의 증폭 값을 자동으로 선택하는 알고리즘을 제시했다.

개발된 알고리즘을 통해 사전 학습된 스테이블 디퓨전 모델의 내부 특징 맵을 적절히 증폭해 추가적인 분류 데이터나 학습 없이 창의적 생성을 강화할 수 있었다.

연구팀은 개발된 알고리즘을 사용하면 기존 모델 대비 더욱 참신하면서도 유용성이 크게 저하되지 않은 이미지를 생성할 수 있음을 다양한 측정치를 활용해 정량적으로 입증했다.

특히, 스테이블 디퓨전 XL(SDXL) 모델의 이미지 생성 속도를 대폭 향상하기 위해 개발된 SDXL-터보 모델에서 발생하는 모드 붕괴 문제를 완화함으로써 이미지 다양성이 증가한 것을 확인했다. 나아가, 사용자 연구를 통해 사람이 직접 평가했을 때도 기존 방법에 비해 유용성 대비 참신성이 크게 향상됨을 입증했다.

공동 제1 저자인 KAIST 한지연, 권다희 박사과정은 “생성 모델을 새로 학습하거나 미세조정 학습하지 않고 생성 모델의 창의적인 생성을 강화하는 최초의 방법론”이라며 ”학습된 인공지능 생성 모델 내부에 잠재된 창의성을 특징 맵 조작을 통해 강화할 수 있음을 보였다“고 말했다.

이어 “이번 연구는 기존 학습된 모델에서도 텍스트만으로 창의적 이미지를 손쉽게 생성할 수 있게 됐으며, 이를 통해 창의적인 상품 디자인 등 다양한 분야에서 새로운 영감을 제공하고, AI 모델이 창의적 생태계에서 실질적으로 유용하게 활용될 수 있도록 기여할 것으로 기대된다”고 밝혔다.

이번 연구는 국제 학술지 '국제 컴퓨터 비전 및 패턴인식 학술대회(CVPR)'에서 15일 발표됐다.

김영준 기자 kyj85@etnews.com

Copyright © 전자신문. 무단전재 및 재배포 금지.