가상배경·아바타·조명까지 실시간 합성하는 '버추얼 프로덕션'
영상 압축부터 생성형 콘텐츠까지…AI로 무장한 차세대 미디어 기술
블로그 글도 '숏폼' 자동 변환하는 기술 연내 출시

"여긴 박물관이고요, 제 옆엔… 우주인이 있습니다."

16일 네이버(NAVER) 사옥 내부 '비전스테이지'에서 만난 이 장면은 실제였다. 르네상스풍 박물관 홀을 배경으로 김성호 이머시브 미디어 플랫폼 리더와 우주복을 입은 인물이 나란히 서서 인사를 나눴다. 무대에는 김 리더 하나뿐이었지만, 스크린 속에는 진짜처럼 움직이는 우주인 캐릭터가 함께 있었다.

네이버 버추얼 프로덕션 스튜디오 ‘비전스테이지’에서 생성형 AI와 실시간 모션캡처 기술을 활용해 구현한 가상 우주인과의 인터랙션 시연 모습. 왼쪽이 김성호 네이버 이머시브 미디어 플랫폼 리더.사진=박유진 기자

우주인의 정체는 무엇일까. "아까부터 계속 보셨던 우주인은 저희 네이버 동료입니다. 실시간으로 모션캡처된 동작을 반영해 가상공간에 입힌 것이죠." 무대는 '비전스테이지', 옆 공간은 모션캡처를 위한 '모션스테이지'로, 두 공간이 실시간으로 연동돼 하나의 버추얼 퍼포먼스를 완성한다. SF 영화 속 기술 같지만, 이 모든 게 실시간으로 이뤄진 버추얼 프로덕션이었다.

이날 열린 네이버 '이머시브 미디어 플랫폼' 테크 포럼에서는 미디어 AI, 확장현실(XR) 스튜디오, 버추얼 스트리밍 기술을 한데 모은 실감형 기술이 소개됐다. 이른바 '비전 테크 트라이앵글'로 명명된 이 기술 구조는 영상 인식·생성 기술과 함께 버추얼 스튜디오 기반 콘텐츠 제작 인프라까지 총망라한다. 네이버가 자사 콘텐츠 생태계의 주도권을 강화하는 모양새다.

비전 스테이지와 모션 스테이지는 영화·드라마급 콘텐츠 제작이 가능한 버추얼 프로덕션 인프라로 주목받았다. 생성형 AI·3D 아바타·모션캡처 기술을 결합해 현실과 가상을 넘나드는 콘텐츠를 제작할 수 있는 환경이다. 김 리더는 "실제 공간에는 아무도 없어도, AI 기반 가상 배경과 캐릭터가 실시간 상호작용하며 콘텐츠가 제작된다"며 "댄스 챌린지, 라이브 커머스까지 장르 구분 없이 제작이 가능하다"고 설명했다.

특히 이 스튜디오는 생성형 AI를 활용해 브랜드나 아티스트가 원하는 배경을 단시간 내 구현하며, 실시간 방송 중에도 배경 전환이 가능한 것이 강점이다. 조명도 실시간으로 배경 색상에 맞게 자동 제어된다. 다수의 버추얼 스트리머들이 실제 퍼포먼스를 이 공간에서 촬영하며, 10인 이상의 협업 콘텐츠도 이뤄지고 있다.

이날 네이버는 기술 고도화 측면에서 텍스트 기반 블로그 콘텐츠를 짧은 영상(숏폼)으로 자동 생성해주는 '오토클립Ai(AutoClipAi)'를 하반기 중 선보일 예정이라고도 밝혔다. 멀티모달 거대언어모델(LLM)을 통해 블로그 내용을 요약하고, 이에 적합한 음성·배경음악·화면효과를 자동으로 합성해 3분 분량으로 숏폼 클립을 만든다. 네이버는 "텍스트가 강점이던 플랫폼이 영상 중심 생태계로 확장되는 핵심 기술"이라고 설명했다.

영상 압축 효율도 강화됐다. 지난해 도입된 'AI인코드(AIEncode)'는 영상 품질을 유지하면서도 전송률 부담을 최대 30%까지 낮출 수 있도록 설계됐다. 이 기술은 실시간 스트리밍 안정성에 기여하고, 전송률을 낮춘 만큼 사용자는 더욱 빠르게 영상을 경험할 수 있는 미디어 환경을 제공한다.

글로벌 시장을 겨냥한 라이브 송출 앱 '프리즘 라이브 스튜디오'도 눈길을 끌었다. 누적 송출 260만건, 일평균 약 12만건의 방송이 생성되며, 다운로드의 90% 이상이 해외에서 발생했다는 게 네이버 측의 설명이다. 자체 개발한 기술을 적용해 실시간 네트워크 상태에 맞춰 영상 품질을 자동 조정할 수 있고, AI 기반 스크립트·챕터 제작 기능이 있다는 게 주요 차별점이다. 네이버는 이를 기술 테스트베드이자 도구형 비즈니스 모델로 포지셔닝했다.

네이버는 향후 XR 콘텐츠 플랫폼도 공개할 예정이다. 안드로이드 기반의 XR 플랫폼으로 증강현실(AR)·가상현실(VR)·혼합현실(MR) 콘텐츠를 지원하며, 비전 스테이지에서 제작된 콘텐츠는 추후 VR 환경에서도 입체적 경험이 가능하다. 김 리더는 "가상·혼합현실 대중화에 맞춰 XR 기반 미디어 기술 개발에 집중하고 있다"며 "AI 창작 기술 고도화를 통해 사용자에게 온·오프라인을 넘나드는 생생한 미디어 경험을 제공할 것"이라고 밝혔다.

박유진 기자 genie@asiae.co.kr

Copyright © 아시아경제. 무단전재 및 재배포 금지.