【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI의 '눈' VLM과 '미래 예측' 월드모델, 무엇이 다를까 [IT 백과]

온카뱅크관리자

2026-10-17 15:07:25

<div id="layerTranslateNotice" style="display:none;"></div> 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="GiuTO4lwCa">
 <figure class="figure_frm origin_fig" contents-hash="7cb1177868ae22384bfcbe703b71cf15fb438e6975a062f76840d4e17b158df1" dmcf-pid="Hn7yI8Srvg" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/17/552796-pzfp7fF/20261017150016271dzlt.jpg" data-org-width="640" dmcf-mid="YCFCDKsATN" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/17/552796-pzfp7fF/20261017150016271dzlt.jpg" width="658">
 </figure>
 [디지털데일리 구아현기자] 인공지능(AI)이 눈앞의 사물을 인식하는 것을 넘어 행동 이후 발생할 변화까지 예측하는 방향으로 발전하고 있다. 이미지와 영상을 이해하는 비전언어모델(VLM)과 물리 세계의 움직임을 예측하는 '월드모델(World Model)'이 피지컬 AI의 핵심 기술로 떠오르면서 두 기술의 강점을 결합하는 연구도 확대되고 있다.
 두 모델은 모두 시각 정보를 활용하지만 역할은 다르다. VLM이 이미지와 영상 속 사물이나 주변 상황을 이해하는 데 강점이 있다면 월드모델은 특정 행동을 했을 때 환경이 어떻게 변할지를 예측한다. 로봇이 컵을 알아보는 것과 컵을 들어 올렸을 때 주변 물체에 어떤 영향을 미칠지 판단하는 것은 다른 문제인 셈이다.
 다만 두 기술은 서로 대체하는 관계가 아니다. 시각 정보를 이해하는 능력과 미래를 예측하는 능력을 결합하면 로봇이 현재 상황뿐 아니라 행동 결과까지 고려해 작업을 계획할 수 있다.
 ◆ VLM은 상황 이해, 월드모델은 미래 예측
 VLM은 시각 정보와 언어를 연결해 이해하는 AI 모델이다. 이미지나 영상에 등장하는 사물을 식별하고 위치와 관계를 파악하거나 사용자의 질문에 답할 수 있다. 예를 들어 공장 작업대의 사진을 보고 부품의 종류와 배치 상태를 설명하는 식이다.
 반면 월드모델은 현실 세계의 상태가 시간에 따라 어떻게 변하는지를 학습한다. 로봇이 물체를 밀거나 들어 올렸을 때 어떤 움직임이 발생하는지, 특정 행동이 주변 환경에 어떤 영향을 미칠지를 예측하는 데 초점을 맞춘다. 미래 영상을 직접 생성하거나 이미지·영상에서 추출한 특징의 변화를 예측하는 등 다양한 방식으로 구현할 수 있다.
 여기에 비전언어행동 모델(VLA)이 더해지면 인식과 예측이 실제 행동으로 연결될 수 있다. VLA는 시각 정보와 언어 지시를 바탕으로 로봇의 행동을 생성하는 모델이다. VLM이 주변 상황을 이해하고 월드모델이 행동 결과를 예측한다면 VLA는 이러한 정보를 활용해 로봇이 어떤 동작을 수행할지 결정할 수 있다.
 다만 실제 AI 시스템에서 이들 기능이 반드시 별도의 모델로 나뉘는 것은 아니다. 최근에는 환경 인식과 미래 예측, 행동 생성을 하나의 모델에 통합하려는 연구도 진행되고 있다.
 월드모델 연구는 미래 환경을 단순히 재현하는 수준을 넘어 행동계획을 세우고 여러 선택지의 결과를 미리 검토하는 방향으로 발전하고 있다.
 지난해 9월 메타 기초AI연구소(FAIR) 등이 참여한 공동연구진은 '비전언어 월드모델(VLWM)' 연구를 공개했다. 델롱 첸(Delong Chen), 테오 무타카니(Théo Moutakanni) 등 연구진이 제안한 VLWM은 영상 속 상황과 작업 목표를 이해하고, 행동에 따른 미래 상태의 변화를 언어로 예측하는 모델이다.
 즉각적으로 다음 행동을 생성하는 방식뿐 아니라 여러 미래 시나리오를 검토해 목표에 적합한 계획을 선택하는 방식을 적용했다. 연구진은 자체 인간 평가인 '플래너아레나(PlannerArena)'에서 여러 미래를 검토하는 계획 방식이 즉각적인 행동 생성 방식보다 엘로(Elo) 점수 기준 27% 개선됐다고 보고했다.
 다만 이는 언어로 추상화한 행동계획 평가로, 실제 로봇의 물리적 제어 성능을 검증한 결과와는 구분된다.
 ◆ 시각 이해에 언어·예측 결합… 피지컬 AI로 확장
 최근에는 월드모델의 미래 예측 능력을 언어 이해와 로봇 행동에 연결하거나, 시각·언어모델 자체에 예측 학습 방식을 도입하는 연구도 확대되고 있다.
 대표적인 사례가 메타 기초AI연구소(FAIR)가 지난해 6월 공개한 영상 기반 월드모델 'V-JEPA 2'다. 이 연구에는 얀 르쿤 현 AMI랩스 CEO 겸 전 메타 수석 AI 과학자 등이 참여했다.
 V-JEPA 2는 100만시간 이상의 영상 데이터를 학습해 물체의 움직임과 상호작용 등 시각적 정보를 이해하고 미래 상태를 예측하도록 개발됐다. 메타는 이 모델을 대규모언어모델(LLM)과 결합해 영상에 관한 질문에 답하는 기능도 구현했다. 80억 매개변수 규모의 언어모델 결합 구성에서 영상 이해 평가인 '퍼셉션테스트(PerceptionTest)' 84.0점, '템프컴퍼스(TempCompass)' 76.9점을 기록했다고 밝혔다.
 로봇 제어로도 연구 범위를 넓혔다. 메타는 V-JEPA 2에 로봇의 행동 데이터를 추가 학습한 'V-JEPA 2-AC'를 통해 새로운 환경에서 물체를 집어 옮기는 작업을 시연했다. 시각적 이해와 미래 예측을 로봇의 실제 행동계획에 활용할 수 있음을 보여준 사례다.
 올해 3월에는 후속 모델 'V-JEPA 2.1'을 공개했다. 얀 르쿤 등이 참여한 공동연구진은 영상의 전체적인 의미뿐 아니라 물체의 위치와 움직임 등 세밀한 공간·시간적 특징을 학습하도록 모델을 개선했다. 연구진은 실제 로봇의 물체 잡기 실험에서 기존 V-JEPA 2-AC 대비 작업 성공률이 20%포인트 높아졌다고 보고했다.
 시각·언어모델에 JEPA 구조를 직접 적용한 연구도 있다. 메타 FAIR와 홍콩과학기술대 등 공동연구진이 지난해 12월 공개한 'VL-JEPA'가 대표적이다. 기존 비전언어모델(VLM)이 문장을 순차적으로 생성하는 방식과 달리, VL-JEPA는 이미지와 영상에 대응하는 텍스트의 의미 표현을 예측하도록 설계됐다.
 연구진은 동일한 시각 인코더와 학습 데이터를 사용한 비교 실험에서 기존 방식보다 학습 가능한 매개변수를 50% 줄이면서 더 높은 성능을 기록했다고 밝혔다. 다만 VL-JEPA는 로봇의 행동 결과나 물리적 환경 변화를 직접 예측하는 월드모델은 아니다. 시각·언어 이해에 JEPA의 예측 학습 방식을 적용한 별도의 연구다.
 이 같은 연구 흐름은 AI가 현재 상황을 이해하는 데 그치지 않고 미래 변화를 예측해 행동을 계획하는 기술로 발전하고 있음을 보여준다.
 쿠엔틴 가리도(Quentin Garrido) AMI랩스 연구원은 지난 14일 '피지컬 AI 테크 위크' 발표에서 행동모델과 월드모델의 상호보완성을 강조했다. 행동모델이 현재 상황에 따라 빠르게 다음 동작을 생성한다면 월드모델은 여러 행동의 결과를 미리 예측하고 비교해 적절한 선택을 돕는 방식이라는 설명이다.
 가리도 연구원은 언어를 사람이 AI에 작업 목표를 전달하는 수단으로 활용할 수 있다고도 설명했다. 언어로 물리 세계의 모든 움직임을 표현하기보다 AI가 물리적 환경의 변화를 학습하고, 언어는 이러한 모델과 소통하는 역할을 맡을 수 있다는 취지다.
 르쿤 회장 역시 AI가 현실 세계에서 안전하게 행동하려면 자신의 행동이 가져올 결과를 예측하는 능력이 필요하다고 강조했다. 월드모델의 예측 결과를 바탕으로 목표 달성에 필요한 행동 순서를 계획할 수 있다는 것이다.
 다만 미래 상태를 예측하는 능력이 곧바로 실제 로봇의 안전한 행동을 보장하지는 않는다. 여러 행동의 결과를 검토하는 과정에서 연산비용이 증가할 수 있고, 잘못된 예측은 충돌이나 작업 실패로 이어질 수 있기 때문이다.
 결국 VLM과 월드모델은 서로 대체하기보다 상호보완적으로 발전하는 기술이다. 시각·언어 정보를 이해하는 능력과 미래 행동 결과를 예측하는 능력을 결합하고, 이를 실제 로봇의 움직임으로 연결하는 것이 피지컬 AI 구현의 주요 연구 방향으로 자리 잡고 있다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기