국방부 사이버작전사령부 출신 3명이 공동 창업
대표 제품은 영상 검색 모델 ‘마렝고’와 영상 요약 및 질의응답 모델 ‘페가수스’
엔비디아, 인텔, SK텔레콤 등으로부터 1500억원 누적 투자금 유치
“빅테크 모델 대비 빠르고 저렴해… 미디어·공공기관부터 헬스케어까지 활용”

그래픽=손민균

“갓 태어난 아기가 글자를 배우기 전에는 시각과 청각을 통해 주변을 파악합니다. 언어가 아닌 시각으로 세상을 이해하는 인공지능(AI)을 만들고 싶었습니다.”

트웰브랩스(TwelveLabs)는 지난 2021년 멀티모달 AI에 매료된 청년 3명이 창업한 AI 스타트업이다. 멀티모달 AI란 텍스트 중심의 AI 모델과 달리 사진, 그림, 영상 등 다양한 정보를 토대로 이해하는 AI 모델을 의미한다.

이재성(31) 대표는 미국 UC버클리에서 컴퓨터공학을 전공한 뒤 삼성전자·아마존 등에서 인턴을 마치고 국방의 의무를 위해 2019년 국방부 사이버작전사령부에 자원했다. 군 복무 시절 트웰브랩스 공동 창업자인 김성준 개발총괄이사와 이승준 기술총괄이사를 만났다.

당시 AI 산업에서는 언어 기반 모델이 주류였지만, 이들은 인간의 인식 구조처럼 시각적 데이터를 기반으로 맥락을 이해하는 AI가 미래를 바꿀 것이라고 봤다. 청년 3명은 군 복무를 하면서 모은 월급 200만원으로 법인을 세웠고, 이후 미국 액셀러레이터 테크스타스(Techstars)의 눈에 띄면서 본격적인 기술 개발에 착수했다.

창업 초기 구성원은 총 12명으로, 트웰브랩스라는 사명도 여기서 유래했다. 현재는 한국에 연구개발(R&D) 인력 40명, 미국에 비즈니스 마케팅 담당 인력 40명이 근무하고 있다.

트웰브랩스의 대표 제품은 영상 검색 모델 ‘마렝고(Marengo)’와 영상 요약 및 질의응답 모델 ‘페가수스(Pegasus)’다. 마렝고는 수십, 수백 시간 분량의 영상 데이터 중 원하는 장면을 텍스트나 이미지로 빠르게 검색할 수 있는 모델로, 미디어·스포츠·공공기관 등에서 활용되고 있다. 페가수스는 영상 내용을 분석해 요약하거나 특정 질문에 답하는 모델로, 뉴스·광고·의료 등의 산업에 적용 가능하다.

트웰브랩스는 최근 아마존웹서비스(AWS)의 생성형 AI 플랫폼 ‘베드록(Bedrock)’에 국내 기업 최초로 모델을 탑재하며 주목을 받았다. 이재성 대표는 지난달 17일 서울 용산구 이태원동 사무실에서 조선비즈와 만나 이번 계약으로 전 세계 수십만 기업이 트웰브랩스의 모델을 직접 사용할 수 있게 됐다고 설명했다. 예컨대 캐나다 스포츠 엔터테인먼트 기업 ‘메이플리프 스포츠’는 마랭고를 도입해 경기 하이라이트 영상 자동 생성 시스템을 구축하고 있다.

트웰브랩스는 엔비디아와 인텔, SK텔레콤 등으로부터 1500억원의 누적 투자금을 유치한 상태다. 이 대표는 “북미 시장에서 대형 고객사들이 트웰브랩스를 활용하고 있으며, 유럽과 아시아 시장도 베드록을 발판으로 빠르게 공략할 계획”이라고 말했다. 이 대표는 오는 14일부터 서울 강남구 코엑스에서 개최되는 ‘AWS 서밋 서울 2025’에 무대에 선다. 아래는 이 대표와의 일문일답.

이재성 트웰브랩스 대표가 지난달 17일 서울 용산구 이태원동 사무실에서 조선비즈와 인터뷰하고 있다./트웰브랩스 제공

-회사가 용산 이태원에 있다. 특별한 이유가 있나.

“스타트업들이 많이 몰린 지역에 있으면 본업에 충실하기가 힘들 것 같았다. 공동 창업자들을 용산에서 처음 만났다. 국방부 산하 사이버작전사령부에서 군 복무하면서 만난 인연인데, 당시 차례로 전역을 했고, 사회에 나와 같이 일하기로 한 추억이 있다.”

-첫 자금이 200만원이었다. 그 돈으로 무엇을 할 수 있었나.

“공동 창업자 3명이 갖고 있던 돈이 200만원 정도였다. 하지만 간절하면 200만원으로도 많은 것을 할 수 있다. 사무실이 없어 지인이 운영하는 회사 사무실을 빌려서 일했다. 카페에서도 일했고, 정부에서 지원해 주는 창업 센터도 찾았다. 2021년 3월 창업했는데, 당시 코로나19가 한창이었다. 파트너들과 일할 때는 미국 시각에 맞춰 새벽에 화상회의를 했고 한국 시각에는 발로 뛰었다. 1년쯤 그렇게 일하고 투자를 받은 뒤 조금씩 사업을 확장해 갔다.”

-영상 기반 AI라는 모델이 생소하다. 어떻게 쓰일 수 있는지.

“대표적으로 미디어 분야에 활발하게 활용된다. 디즈니를 예로 들면, 2시간짜리 영화를 만들기 위해 수만 시간의 영상을 찍는다. 영화를 편집하려면 사람들이 일일이 자료를 다 찾아봐야 한다. 트웰브랩스 모델은 몇만 시간 분량의 영상을 다 읽은 다음 검색만으로 원하는 장면을 찾을 수 있다.

공공 영역에서는 CCTV 영상 탐지, 모빌리티 분야에서는 자율주행 영상 이해에도 쓰일 수 있다. 헬스케어 분야에도 적용될 날이 머지않았다. 예컨대 고령화 시대에 부모님이 잘 계신지 확인해 주는 로봇에 우리 기술을 탑재할 수 있다. 이상 반응에 대한 정보를 습득한 모델이 실시간으로 영상을 탐지하고 상황을 파악해 병원이나 가족들에게 전달하는 것이다.”

-AWS 베드록에 한국 기업 최초로 AI 모델이 탑재돼 주목을 받았다.

”창업 초창기부터 AWS와 인연이 있었으니 벌써 4년이 됐다. 자본이 아예 없었을 때는 AWS가 지원한 컴퓨팅 리소스가 많은 도움이 됐다. 지금은 모델을 하나는 만드는데 수천억원이 드는 시대지만, 창업 초기에는 모델을 학습시키는 데 1억원을 쓴다는 것도 생소할 때였다. AWS가 빠르게 이 흐름을 읽었고, 우리를 지원해줬다.

우리 제품이 베드록에 올라간 것에 관해 설명하자면, 지난해 말부터 논의를 이어왔다. AWS 고객들이 방대한 영상 자료를 클라우드에 올려놓고 활용하지 못하는 경우가 많았다고 한다. AWS 측에 트웰브랩스 제품을 넣어달라는 고객사들의 요청도 다수 있었다고 안다. 우리 모델이 베드록에 탑재되면서 데이터 보안 측면이나 AWS에 대한 고객사의 신뢰도가 우리 회사의 글로벌 인지도를 높이는 데 긍정적으로 작용할 것으로 기대한다.”

-오픈AI나 구글도 멀티모달 AI를 만들고 있다. 트웰브랩스만의 차별점은.

“우리는 단순한 ‘모델’ 회사가 아니다. 영상 처리(프로세싱)부터 영상 변환(인덱싱) 기술까지 다 만든다. 언어로 모델을 학습시키는 게 아니고, 영상 자체로 모델을 학습시키니 AI가 정보가 전개되는 흐름을 잘 인식한다. 영상 정보가 바탕이 되다 보니, 이미지, 오디오, 심지어 음악까지 학습한다. 타사 모델 대비 빠르고, 낮은 비용으로 작업할 수 있다. 최신 제품인 페가수스-1.2는 경쟁 제품인 GPT-4o와 구글 제미나이 1.5 프로보다 빠른 응답 속도를 보였다.”

-트웰브랩스가 그리는 영상 AI의 미래가 궁금하다.

“지금까지는 생성된 영상들을 다루는 제품을 내놓았다. 앞으로는 실시간으로 생성되는 영상들을 빠르게 이해하는 제품을 만들고 싶다. 실시간 스트리밍 서비스 등에 영상을 제공할 수 있을 정도로 기술이 고도화되고 있다. 궁극적으로는 카메라가 달린 모든 장비에 트웰브랩스 모델이 탑재돼 실시간으로 정보가 축약된 메시지를 보내거나, 필요한 작업과 연결이 가능할 것이다.”

-한국 AI 산업 발전을 위한 의견이 있다면.

“‘우린 늦었으니까 따라가자’는 사고를 버렸으면 한다. 언어 모델을 만든다고 다가 아니다. 다음 흐름이 뭔지 예측하고 먼저 가야 오히려 앞설 수 있다고 생각한다. 한국에서 정말 좋은 AI 모델들이 나왔으면 좋겠다. 한국 기반 모델을 글로벌 고객이 활용하면서 나오는 노하우나 지식이 한국 AI 산업에 퍼져야 한다. 그런 지식에 목마른 인재들이 미국으로 가는 것이다. 앞으로 정부가 한국 AI 주권에 이바지하는 스타트업, 대기업의 목소리에 귀를 많이 기울여 주면 좋겠다.”

- Copyright ⓒ 조선비즈 & Chosun.com -

Copyright © 조선비즈. 무단전재 및 재배포 금지.