송재원 덱스터 R&D 연구소장 "기술은 인간의 창작 돕는 유용한 도구"

(지디넷코리아=백봉삼 기자)‘오징어 게임 시즌3’·‘하얼빈’의 디지털색보정·음향뿐 아니라, 최근 tvN 화제의 드라마인 ‘견우와 선녀’ 시각효과(Visual effects, VFX)를 맡아 주목 받는 회사가 있다. 바로 3D VFX 전문 기업 덱스터스튜디오다. 영화 '신과 함께', 넷플릭스 오리지널 ‘기생수 더 그레이’·‘경성 크리처’도 이 회사의 기술이 녹아든 작품이다.

2012년 설립된 덱스터스튜디오는 자체 R&D연구소를 갖추고 있을 만큼, 고품질 영화·온라인동영상플랫폼(OTT) VFX 영역에서 견고한 전문성을 쌓아왔다. 이 회사는 자체 VFX 소프트웨어 80여개를 보유 중이며, 사내에서 AI 연구를 전담하는 인력만 약 15명을 갖추고 있다. AI 전담팀은 크게 ‘아티스트’와 ‘엔지니어’ 그룹으로 나뉘는데, 아티스트는 AI 기술과 노하우를 바탕으로 고품질 이미지와 영상을 만들어낸다. 엔지니어는 최신 AI를 조사·연구하고 기술적인 지원을 통해 아티스트가 원하는 결과물을 구현하는 역할을 한다.

덱스터스튜디오 사무실 전경. 참여한 작품 포스터들이 전시돼 있다.

기자는 최근 서울 마포구 상암동에 위치한 덱스터스튜디오와 덱스터 R&D 연구소를 찾아 영상물에 VFX가 어떻게 입혀지는지, 나아가 AI 기술이 영상물 제작에 어떤 도움과 효과를 주는지 직접 살펴봤다. 아울러 버추얼 휴먼 시연도 살펴보고, 직접 포토그레메트리(사진 기반 3D 모델 생성 기술) 3D 스캔 체험까지 해봤다. 이어 송재원 덱스터 R&D 연구소장과의 인터뷰를 통해 덱스터 R&D 연구소의 기술력과 비전 등을 들어봤다.

모션 캡처 스튜디오부터 전신 3D 스캐너까지...영상 기술의 모든 것이 한 곳에

AI 리에이징 기술을 적용한 송재원 덱스터 R&D 연구소장. 가운데 원본 이미지를 중심으로 왼쪽은 젊게, 오른쪽은 늙게 바꿨다.

먼저 덱스터스튜디오가 있는 상암 DDMC 1층 한편에는 덱스터 R&D 연구소가 있다. AI 전담팀이 근무하는 이곳에는 몸에 부착된 센서를 활용해 인체의 움직임을 디지털 좌표 형태로 기록하는 모션 캡처 스튜디오가 갖춰져 있다. 

현장에서 가장 먼저 기자는 덱스터스튜디오의 AI 리에이징(에이징+디에이징) 기술 시연을 감상했다. PC 모니터 화면에서 한 배우의 얼굴이 분할된 화면에서 동시에 보였는데, 왼편에는 현재의 얼굴이 오른쪽에는 나이든 얼굴이 보였다. 이 기술은 영상 속 인물의 얼굴을 어리게도, 늙게도 할 수 있는데 별도의 학습 데이터를 다량 확보하지 않고도 단 시간 내 4K 영화에 활용가능한 수준의 결과물 도출이 가능하다. AI 기술을 활용해 영화·드라마·뮤직비디오 속 인물의 나이를 손쉽게 바꿀 수 있는 기술이어서 활용도가 높아보였다.

또 위층 덱스터스튜디오 본 사무실에는 ▲인물 얼굴의 3D 스캔을 초당 24~60회 이상까지 수행할 수 있는 고품질 스캔 장비 ‘페이셜 4D 스캐너’와 ▲인물 전신 3D 스캔 데이터를 얻을 수 있는 ‘전신 3D 스캐너’ ▲인물 얼굴에 대한 상세 3D 스캔 데이터를 얻을 수 있는 ‘얼굴 3D 스캐너’ ▲영화·드라마 등에 필요한 소품의 3D 데이터를 정확하게 획득할 수 있는 ‘사물 3D 스캐너’ 장비 등이 있다.

얼굴 3D 스캐너를 통해 변환한 기자의 3D 이미지. 수염부터 여드름 자국까지 정교하게 표현된다.

기자는 얼굴 3D 스캔을 체험해봤다. 사방을 둘러싼 50여대의 DSLR 카메라가 동시에 촬영한다.

이 중 기자는 얼굴 3D 스캐너를 직접 체험해봤다. 안경을 벗고 머리띠로 얼굴로 쏟아지는 머리카락을 밀어 올린 뒤 50여대의 DSLR 카메라로 둘러싸인 의자에 앉았다. 의자 높낮이를 조절한 뒤 하나·둘·셋 소리와 함께 강력한 플래시가 터지며 주변을 둘러싼 모든 카메라의 셔터가 열렸다 닫혔다. 그렇게 촬영된 이미지는 PC를 통해 몇 분만에 3D 모델링 이미지로 변환됐다. 

기자의 얼굴이 3D 입체적인 이미지로 꾸밈없이 구현돼 차마 눈뜨고 보기 힘들었는데, 잠시 후 같은 방식으로 촬영된 꽃미남 가수 차OO의 이미지가 비교 샘플로 띄워져 민망함은 배가 됐다. “3D 스캔은 거짓말을 하지 않는다”는 스캔 엔지니어의 멘트가 조용히 가슴에 와 박혔다.

'반지의 제왕'·'아바타' 같은 디지털 휴먼을 우리 작품에도 구현할 그 날까지

송재원 덱스터 R&D 연구소장이 인터뷰에 응하고 있다.

이런 최신 기술과 노하우가 녹아든 VFX 서비스를 진두지휘하는 송재원 소장은 대학교에서 컴퓨터 그래픽을 전공하며 디지털 휴먼과 모션 캡션 분야에서 전문성을 높여왔다. 우리나라 작품에는 3D VFX가 부분적으로만 사용되지만, 언젠가는 할리우드 영화처럼 작품 처음부터 끝까지 디지털 휴먼 캐릭터가 등장하는 작품을 만들어 보고 싶다는 게 그의 꿈이다. 현재까지는 기술적 어려움과 자본의 한계가 있었으나, AI 기술의 발달로 이런 문턱이 점차 낮아질 것으로 기대했다.

송 소장은 “디지털 배우가 국내 영화에 주연으로 나온 경우는 없었다. 배우를 잠깐 교체(스왑)한다든지, 잠시 디지털 배우를 사용하는 장면은 만들 수 있었지만 반지의제왕 골룸 같은 캐릭터는 없었다”면서 “덱스터는 이런 한계를 뚫기 위한 시도들을 하고 있으며, 이와 유사한 수준의 프로젝트를 수행하고 있다. 할리우드에서 제안이 들어온다면 바로 착수할 수 있는 파이프라인도 갖추고 있다”고 설명했다.

또 덱스터스튜디오는 대규모 전쟁 장면이라든지 우주와 같은 세트 촬영이 어려운 경우 컴퓨터 그래픽(CG)을 활용해 실감나게 구현할 수 있다고도 강조했다. AI 기술을 활용하면 현실에선 구현이 어려운 배경을 어색하지 않게 고화질 영상으로 만들어낼 수 있다고. 이를 통해 제작사는 제작 단가를 낮춤은 물론, 창작자의 상상을 보다 현실적으로 구현해 낼 수 있게 된다.

"고품질 영화·OTT가 주력 시장...AI, 실무와 실전에 잘 녹아들어야"

송재원 소장이 버츄얼 휴먼 시연에 대해 설명하고 있다. 스마트폰 카메라가 사람의 얼굴을 인식해 표정과 입모양 등의 변화를 가상 인물에 그대로 구현한다.

덱스터스튜디오는 디지털색보정이나 음향과 같은 상대적으로 간단한 작업부터, 실제로는 존재하지 않는 인물이나 괴물 등을 CG로 창조해낼 수 있다. 또 이 회사는 VFX에서 활용 가능한 32비트 고품질·고색심도 이미지에 적용 가능한 자체 프로세스를 개발해 제작 파이프 라인에 접목하고 있다. 아울러 이미지에 일부분을 다시 그리는 '인페인팅' 기술과 , 실사 촬영 장면을 분석해 위치·각도 등의 데이터를 가상의 3D 공간으로 추척·복원하는 AI 메치매이션 특허도 보유 중이다. 이 밖에 AI 학습을 통해 촬영된 인물의 얼굴을 다른 인물의 얼굴로 교체하는 'AI 페이스 스왑', 입력된 음성파일을 입모양 움직임을 AI가 자동 생성하는 기술도 갖고 있다. 

특히 더 전문 분야인 SF 또는 크리처 장르인 경우, 덱스터코리아는 제작사와 컨셉 아트·캐릭터 스캔 작업을 하는 등 CG VFX 슈퍼바이저 역할을 한다. 촬영 현장에도 출동해 보다 자연스럽고 원활한 CG 작업을 미리 설계하고 조율하기도 한다. 이런 세심한 작업 과정들이 작품의 완성도를 높이고 덱스터를 경쟁사들과 차별화 하는 요소로 보였다. 

송재원 소장은 “덱스터의 근본은 고품질을 요구하는 영화 또는 영화급 OTT 시리즈를 주력 시장으로 본다”면서 “미디어 아트 전시 사업도 하는데, 올 10월에는 경주에 신라의 역사화 문화를 체험할 수 있는 상설 미디어 전시관도 문을 열 예정”이라고 소개했다. 10월 말 경주에서 제32차 아시아·태평양 경제협력체(APEC) 정상회의가 예정돼 있어, 회사는 각국 정상을 비롯해 관광객들에게 특별한 경험을 선사한다는 계획이다.

볼류메트릭 스캐너

송재원 소장이 스캔 장비에 대해 설명하고 있다.

인터뷰 후반부에 송 소장은 AI 기술이 기존 파이프라인에 잘 녹아들어가는 것이 굉장히 중요하다고도 강조했다. AI로 생성된 영상이 기존 촬영분과 이질감 없이 자연스럽게 붙는 기술이 진짜 핵심이란 설명이었다. 

송재원 소장은 "단순히 AI를 잘한다고만 되는 것이 아니라, 실무와 실전에 적용될 수 있는 AI와 파이프라인을 갖추는 게 중요하다"면서 "AI 등 기술은 결국 인간의 창작을 돕는 유용한 도구"라고 말했다. 

이어 “유명 감독의 고품질 영화를 보고 싶어하고, 감동과 재미를 얻고자 하는 인간의 근본적인 심리는 바뀌지 않는다”며 “이를 위해 덱스터는 기술을 개발하고 계속 차별화를 끌고 나갈 것이다. 반지의 제왕, 아바타급의 디지털 휴먼이 영화 내내 등장하는 작품을 국내에서 꼭 만들어 보고 싶다”고 강조했다.

끝으로 그는 “기술은 어디까지나 아티스들의 창조 역량을 극대화 하는 데 도움을 주는 도구인 만큼, 아티스트들의 창의적인 작업을 지원하는 기술 개발을 이어가겠다”고 다짐했다.

백봉삼 기자(paikshow@zdnet.co.kr)

Copyright © 지디넷코리아. 무단전재 및 재배포 금지.