K퓨처테크 현장을 가다
(3) 서울대 컴퓨터연구소
AI가 두뇌라면 컴퓨터는 '몸'
지금은 몸이 두뇌 속도 못따라가
연산 속도·전력 효율 개선 필요 
韓·美·中·日 등 글로벌 선진국
창의적 컴퓨터 아키텍처 경쟁
컴퓨터硏, 새로운 모델 개발 주력
중요한 정보에 집중 '어텐션 연산'
인간과 상호작용 돕는 '휴먼 AI'

인공지능(AI)이 두뇌라면 컴퓨터는 AI를 담은 물리적 실체다. 서진욱 서울대 컴퓨터연구소 소장은 11일 “미래의 컴퓨터는 스스로 사고하고 인간과 소통하는 ‘기계 이상의 존재’가 될 것”이라고 말했다. 두뇌의 속도에 따라 몸도 날렵해질 것이란 얘기다. 한국을 비롯해 미국, 중국, 유럽, 일본 등 주요 국가는 ‘창의적인 컴퓨터’를 누가 먼저 내놓느냐는 아키텍처 경쟁에 돌입했다. 인간의 두뇌처럼 적은 전력만으로도 중요한 정보에만 집중함으로써 효율을 높이는 ‘어텐션(attention·집중) 연산’을 비롯해 인간 행동을 모사해 로봇의 움직임을 만들어내는 ‘인간-물체 상호작용(HOI) 모델링’ 등이 주요 경쟁 영역이다. 서 소장을 비롯해 연구소의 핵심인 이재욱, 주한별, 원정담 서울대 컴퓨터공학과 교수는 “컴퓨터가 인류 난제에 도전하고 이를 다양한 영역으로 확장시킬 것”이라고 입을 모았다.

 ◇ 인간의 두뇌 닮아가는 컴퓨터

서울대 컴퓨터연구소 패러덱스 설비 공간에서 서진욱 서울대 컴퓨터연구소장이 로봇 손과 악수하고 있다. 이곳에서는 인간의 움직임을 여러 대의 카메라로 촬영해 동작을 모사하는 인공지능(AI) 모델을 개발하고 이를 로봇으로 재현하는 기술을 연구한다. 이솔 기자

서 소장은 “생성형 AI 시대에서 나타난 가장 큰 문제는 기존 컴퓨터로는 초대규모 데이터를 처리하는 것이 점점 어려워지고 있다는 점”이라고 말했다. 몸이 두뇌 속도를 못 따라가고 있다는 것이다. 전력을 너무 많이 소모하는 것도 해결해야 할 과제 중 하나다. 이를 위해 서울대 컴퓨터연구소는 AI 연산을 가속화하고 저전력·고효율·고확장 컴퓨팅 환경을 구축하기 위한 새로운 컴퓨터 아키텍처 개발에 주력하고 있다.

예컨대 하드웨어(HW)와 소프트웨어(SW)가 최적의 성능을 낼 수 있도록 함께 설계하는 ‘협조 최적화’(co-design)가 대표적인 기술로 꼽힌다. 현재까지의 설계 방식은 ‘따로국밥’ 식이다. HW 엔지니어는 빠르고 안정적인 회로와 장치를 설계하는 데만 주력하고, SW 개발자는 그 위에서 돌아가는 프로그램을 별도로 개발한다. 하지만 AI에 최적화된 컴퓨터를 만들려면 이에 특화된 전용 회로를 설계해야 하고, SW도 AI 모델 구조를 HW가 더 잘 처리할 수 있도록 최적화해야 한다.

서 소장은 “일반 컴퓨터가 평범한 자동차라면 서울대가 연구 중인 AI 연산 특화 컴퓨터는 레이싱카처럼 특정 작업을 훨씬 빠르고 효율적으로 수행하는 것이 목표”라고 설명했다.

주요 연구로는 어텐션 연산을 빠르게 처리하는 전용 하드웨어 가속기 개발이 꼽힌다. 수조 개의 파라미터(매개변수)를 갖는 어텐션 연산은 딥러닝과 자연어 처리(NLP), 이미지 처리와 같은 AI 분야에서 핵심 역할을 한다. 어텐션 연산은 AI 모델이 데이터 중에서 어디에 집중할지, 무엇이 중요한지를 찾아내고 이에 집중하게 만든다. 책을 읽을 때 중요한 부분에 빨간펜으로 표시해가며 반복해 읽고 이해하는 것에 비유할 수 있다.

이재욱 교수는 “어텐션 연산에 최적화된 칩으로 가속기를 만들었고, 측정 결과 연산량과 전력 소비를 기존 컴퓨팅의 절반 수준으로 줄이면서도 정확도를 유지했다”고 말했다. 어텐션 연산은 AI 연구와 개발에서 핵심적인 기술로 자리 잡는 추세다. 구글의 BERT, 마이크로소프트의 터닝 NLG, 페이스북의 RoBERTa, 삼성전자의 스마트폰 음성 인식 기술이 어텐션 연산의 대표 사례다.

 ◇ 주목받는 로봇 학습 컴퓨팅

서울대 컴퓨터연구소가 주목한 또 다른 차세대 연구는 ‘휴먼 AI’다. 서 소장은 “이 연구에는 컴퓨터 비전, 머신러닝, 3차원(3D) 모델링 등이 유기적으로 융합된다”며 “인간의 외형, 동작, 의류, 의사소통, 물체와의 상호작용을 AI가 정밀하게 이해하고 사실적으로 재현할 수 있을 것”이라고 설명했다. 주한별 교수는 연구소 내 연구시설인 ‘패러덱스(pardex)’에서 인간의 움직임을 여러 대의 카메라로 촬영해 인간 동작을 모사하는 AI 모델을 개발하고 이를 로봇으로 재현하는 기술을 연구하고 있다.

이 과정에서 강조되는 기술이 ‘인간-물체 상호작용(HOI) 모델링’이다. 주 교수는 “HOI 모델링과 70대 이상의 카메라를 활용한 멀티센서 기반 3D 데이터 수집 시스템을 통해 고품질 학습 데이터를 확보하고 있다”며 “AI의 표현력과 적응력을 끌어올릴 것”이라고 말했다. HOI 모델링이 고도화되면 스마트 가전과 홈 오토메이션 분야에서 획기적인 변화가 일어날 것으로 예상된다.

HOI 모델링이 적용된 AI는 사람의 동작을 보다 정교하게 이해해 스마트홈 기기가 사용자 행동을 예측하고 자동으로 작동할 수 있다. 사용자가 컵을 집으면 AI가 이를 감지해 정수기에서 물을 채우거나 요리를 시작하면 오븐을 적절한 온도로 설정하는 식이다. 로보틱스 및 스마트 제조 분야, 자율주행과 스마트 모빌리티 등 산업 현장에도 다양하게 적용할 수 있다. 주 교수는 “HOI 모델링을 적용한 협업 로봇은 작업자가 어떤 도구를 사용하려 하는지 인식하고 필요한 도구를 전달하거나 작업의 다음 단계를 예측해 준비한다”고 예를 들었다.

 ◇ 수백 개 전신 근육도 디지털로 구현

인간의 행동을 모방하는 ‘로봇 학습’은 휴머노이드의 완성을 위한 필수 기술로 꼽힌다. 불과 몇 년 전까지만 해도 로봇 행동 모델은 코딩에 의존해 왔다. 정해진 대본에 따라 움직이는 배우에 비유할 수 있다. 하지만 인간처럼 미세한 움직임을 로봇으로 구현하려면 아주 사소한 행동 하나라도 구현할 수 있어야 하는데 이를 위해선 로봇이 스스로 행동을 배우도록 하는 것이 핵심이다.

주 교수는 “로봇 학습은 동작 모사를 넘어 사람의 복잡한 신체 움직임과 물체를 다루는 방식까지 정밀하게 학습한다”며 “AI 기반 로봇이 실제 환경에서 사람의 역할을 대체하거나 보조할 능력을 갖추도록 하는 데 집중하고 있다”고 했다. 로봇이 인간이 처한 상황과 대화의 맥락까지 이해할 수 있다는 뜻이다. 향후 노동, 의료, 재난 대응, 노인 돌봄 등의 분야에서 큰 사회적 파급력을 가질 것으로 기대된다.

근골격 디지털 트윈 모델링 및 시뮬레이션 기술도 컴퓨터연구소가 주목하는 차세대 연구 분야다. 정밀 의료와 헬스케어 분야에 특화된 기술로 인간 신체를 디지털 트윈으로 구현하는 것이 목표다.

강경주/안정훈 기자 qurasoha@hankyung.com

Copyright © 한국경제. 무단전재 및 재배포 금지.