【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]"다 되는 AI, 누가 더 싸게 돌리나"…래블업, 추론·에이전트 인프라 최적화 승부

온카뱅크관리자

2026-10-10 06:07:24

<div id="layerTranslateNotice" style="display:none;"></div> [인터뷰] 김준기 래블업 CTO, “학습 인프라 표준화…R&amp;D 무게중심 추론으로” 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="becbIGnQyS">
 “학습 인프라 표준화…R&amp;D 무게중심 추론으로”
 <div contents-hash="0d9a13e7d3aa84223cb73ee89f914ef070316ad3578c8834ded22cd09e6c13b2" dmcf-pid="9JE9hXoMSh" dmcf-ptype="general">
 KV캐시·프리필·디코드 최적화 ‘모두의 AI’ 적용…GPU 넘어 CPU·보안까지
 </div>
 <figure class="figure_frm origin_fig" contents-hash="6247162e0f65f940fcb19cbc7b25b6176c51960b2c55ed90ffb671e96cd8a66a" dmcf-pid="2iD2lZgRyC" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/10/552796-pzfp7fF/20261010060033919yecu.png" data-org-width="640" dmcf-mid="zUCQGpEoCy" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/10/552796-pzfp7fF/20261010060033919yecu.png" width="658">
 </figure>
 [디지털데일리 구아현기자] 인공지능(AI) 서비스를 운영하는 기업에 고성능 그래픽처리장치(GPU)는 값비싼 생산설비와 같다. 장비를 확보해도 데이터를 불러오거나 작업을 전환하는 동안 GPU가 놀면 투자한 만큼 성능을 뽑아낼 수 없다. 생성형 AI가 모델 학습을 넘어 실제 서비스와 AI 에이전트로 확산하면서 토큰 사용량 절감과 비용 효율화가 새로운 화두로 떠올랐다. 특히 GPU 확보 여력이 제한적인 국내에서는 같은 연산 자원으로 얼마나 많은 추론을 빠르고 낮은 비용에 처리하느냐가 AI 경쟁력을 좌우하는 핵심 요소로 부상하고 있다.
 래블업은 이 같은 AI 인프라 운영·최적화에 집중하고 있다. GPU·신경망처리장치(NPU) 등 AI 가속기를 여러 사용자와 작업에 나눠 배치하고, 학습부터 추론까지 대규모 AI 워크로드를 관리하는 플랫폼 ‘백엔드닷에이아이(Backend.AI)’를 개발해왔다. 모델 자체의 크기를 줄이는 경량화와 달리, 만들어진 모델과 고가의 연산 자원을 실제 기업 환경에서 얼마나 효율적으로 운영하느냐가 래블업의 기술 영역이다.
 이 기술을 설계해온 김준기 래블업 공동창업자 겸 최고기술책임자(CTO)는 최근 디지털데일리와 만나 “GPU 효율화라고 하면 GPU가 노는 시간을 줄이는 것”이라며 “에이전트 시대에는 에이전트가 실제 업무를 수행하는 과정에서 CPU의 역할과 효율도 중요해지고 있다”고 말했다.
 시스템상 GPU가 작업에 할당돼 있더라도 데이터 전송과 컨테이너 로딩, 작업 전환 과정에서는 실제 연산이 멈추는 시간이 발생한다. 김 CTO는 “단위 시간당 가능한 한 많은 비율을 유효한 연산에 쓰도록 만드는 것이 최적화”라고 설명했다.
 ◆ “학습은 표준화”…AI 인프라 경쟁, 추론으로
 래블업의 초기 고객은 AI 모델을 직접 개발하는 연구개발 조직이 중심이었다. 여러 GPU를 묶어 대규모 학습을 안정적으로 돌리고, 여러 연구자가 연산 자원을 효율적으로 나눠 쓰도록 관리하는 것이 주요 과제였다.
 하지만 챗GPT 등장 이후 공개 모델이 빠르게 늘면서 고객 요구도 달라졌다. 김 CTO는 “2024~2025년부터는 ‘학습은 필요 없고 공개 모델을 가져와 내부 폐쇄망에서 직원들에게 서비스하고 싶다’는 고객이 많이 들어왔다”며 “추론 기능만으로 백엔드닷에이아이를 공급하는 사례도 나오기 시작했다”고 설명했다. 최근에는 여기서 더 나아가 AI 에이전트를 실제 업무에 붙이고 운영하려는 수요까지 커지고 있다.
 기술 개발의 무게중심도 이에 맞춰 이동 중이다. 김 CTO는 “학습 쪽은 이제 많이 표준화되고 있다”며 “추론 쪽으로 연구개발(R&amp;D) 역량도 더 많이 들어가고 있다”고 말했다. 과거 래블업의 강점이던 멀티노드·멀티테넌트 학습 기능이 쿠버네티스 등 오픈소스 생태계에서도 점차 표준화되면서 새로운 차별화 지점이 실제 서비스 단계인 추론으로 옮겨가고 있다는 의미다.
 래블업이 학습 인프라에서 쌓아온 기술적 기반은 컨테이너 기반의 대규모 작업 관리다. 김 CTO는 “컨테이너 기반이지만 마치 컨테이너를 슬럼(Slurm)처럼 쓸 수 있게 만들었다”고 설명했다. 슈퍼컴퓨터에서 주로 활용되는 슬럼은 여러 서버에 작업을 배치하는 데 강점이 있지만, 작업 환경 격리나 하나의 GPU를 여러 사용자가 세밀하게 나눠 쓰는 데는 한계가 있다.
 래블업은 대규모 작업을 슬럼처럼 스케줄링하면서 각각의 작업을 컨테이너로 격리해 여러 사용자가 같은 연산 자원을 공유할 수 있도록 했다. 최근에는 기존 슬럼 명령어를 그대로 입력하면 백엔드닷에이아이에서 작업을 실행하는 ‘슬럼 프런트엔드’도 구현했으며 업스테이지가 이를 활용하고 있다.
 GPU 활용률을 높이는 것은 여전히 기본 과제다. 김 CTO는 대규모 머신러닝 학습 클러스터의 경우 순간적으로 GPU를 100% 가까이 사용하더라도 일주일이나 한 달 단위로 보면 실제 활용률이 30~50%만 나와도 높은 편이라고 설명했다. 래블업은 스케줄링과 운영 자동화를 통해 이를 최대한 80~90% 수준으로 끌어올리는 것을 목표로 하고 있다.
 다만 추론은 학습보다 변수가 많다. 정해진 작업을 장시간 수행하는 학습과 달리 추론은 사용자의 요청이 언제, 얼마나 몰릴지 예측하기 어렵다. GPU 활용률뿐 아니라 응답속도와 메모리 사용량, 토큰 비용을 동시에 관리해야 하는 이유다.
 <figure class="figure_frm origin_fig" contents-hash="8117dc9b7c4d1d9c5bd343893b35b7fe02dd1c422ddea93303e702982e98731f" dmcf-pid="HZqO8iFYhN" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/10/552796-pzfp7fF/20261010060035299fzzl.png" data-org-width="640" dmcf-mid="qCXgUVSryT" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/10/552796-pzfp7fF/20261010060035299fzzl.png" width="658">
 </figure>
 ◆ 사용자 몰리면 느려지는 LLM… 핵심 병목은 ‘KV캐시’
 김 CTO가 추론 최적화의 대표적인 병목으로 꼽은 것은 ‘KV캐시’다. 쉽게 말해 AI가 앞서 읽은 대화 내용을 매번 처음부터 다시 계산하지 않도록 중간 연산 결과를 잠시 저장해두는 ‘임시 기억공간’이다.
 대형언어모델(LLM)은 답변을 한 토큰씩 만들어낼 때 앞서 나온 문맥을 계속 참고해야 한다. 이미 계산한 내용을 GPU 메모리에 저장해두면 같은 연산을 반복할 필요가 없어 답변을 더 빠르게 생성할 수 있다. 하지만 동시 이용자가 늘어나면 사용자마다 별도의 KV캐시가 쌓이면서 GPU 메모리를 빠르게 차지한다.
 김 CTO는 “몇 사용자만 동시에 추론해도 성능이 확 떨어질 수 있다”며 “KV캐시가 GPU 메모리에 모두 들어가지 못해 시스템 메모리나 저장장치로 넘어가면 성능이 느려질 수 있다”고 설명했다. 이를 줄이기 위해 캐시를 고속 저장장치나 외부 장치로 옮겨 관리하는 ‘KV캐시 오프로딩’ 등의 기술이 활용된다.
 LLM 추론 과정 자체도 나눠 최적화할 수 있다. 사용자의 입력을 처리해 첫 번째 답변 토큰을 만들기까지의 단계가 ‘프리필(prefill)’, 이후 답변을 한 토큰씩 생성하는 과정이 ‘디코드(decode)’다. 프리필은 계산량 자체가 병목인 반면 디코드는 계산된 데이터를 반복해서 읽고 쓰는 과정에서 메모리 대역폭이 병목이 된다.
 김 CTO는 “같은 GPU를 사용하더라도 프리필은 프리필끼리, 디코드는 디코드끼리 모아서 처리하는 것이 더 효율적”이라고 말했다. 대규모 환경에서는 두 작업을 서로 다른 GPU에 배치하고, 프리필 단계에서 만들어진 KV캐시를 원격직접메모리접근(RDMA)이나 인피니밴드 같은 고속 네트워크로 디코드 GPU에 전달하는 식이다.
 래블업은 이 같은 추론 최적화 기술을 과학기술정보통신부의 대국민 AI 서비스 사업인 ‘모두의 AI’에도 적용하고 있다. 고객이 복잡한 인프라 구조를 직접 설계하지 않아도 손쉽게 구축해 사용할 수 있도록 솔루션화하는 작업도 진행 중이다.
 토큰 효율화 역시 단순히 초당 생성 토큰 수를 높이는 것만을 뜻하지 않는다. 모든 요청을 가장 비싼 모델에 보내는 대신 쉬운 질문은 상대적으로 저렴한 모델로 보내는 스마트 라우팅부터 KV캐시와 메모리 관리, 모델 경량화, 토크나이저 설계까지 모두 최종 비용에 영향을 미친다.
 김 CTO는 “같은 문제를 푸는 데 실제로 더 적은 토큰을 쓰는 것도 토큰 효율로 볼 수 있다”며 “모델 자체의 지능뿐 아니라 토크나이저와 KV캐시, 모델 경량화 등 여러 요소가 함께 작용한다”고 말했다.
 비용을 바라보는 기준도 인프라 운영자와 최종 이용자가 다르다. 인프라 운영자는 GPU 한 장을 몇 시간 점유했는지를 뜻하는 ‘GPU-hour’를 중심으로 비용을 계산하는 반면, 이용자는 입력·출력·캐시 토큰 사용량에 따라 비용을 지불한다.
 <div contents-hash="7c73ef31e2a4e246fd5bc90acc236fbfaba19b8b29014651972c3ceba87cde0d" dmcf-pid="u1bCPL0HCM" dmcf-ptype="general">
 김 CTO는 “프리필과 디코드, KV캐시를 유지하는 데 드는 비용 구조가 각각 다르다”며 “에이전트처럼 대화 맥락을 계속 이어가는 서비스에서는 컨텍스트를 유지하는 비용과 이를 재활용해 절감하는 연산까지 함께 고려해야 실제 토큰 비용을 계산할 수 있다”고 설명했다.
 </div>
 <figure class="figure_frm origin_fig" contents-hash="f1318aa402a09a05e4e26d4bb23cc5d531cb49c919474e749d0e2fc46fadacb7" dmcf-pid="7tKhQopXhx" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/10/552796-pzfp7fF/20261010060036671kxrs.png" data-org-width="640" dmcf-mid="BrCQGpEoWv" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/10/552796-pzfp7fF/20261010060036671kxrs.png" width="658">
 </figure>
 ◆ 에이전트 시대, GPU 넘어 CPU·메모리·보안까지
 AI 에이전트 확산은 인프라 최적화 범위를 한층 넓히고 있다. 기존 챗봇이 질문에 답하는 ‘머리’ 역할에 가까웠다면 에이전트는 검색엔진과 이메일, 사내 시스템의 응용프로그램인터페이스(API)를 호출하며 실제 행동까지 수행한다.
 모델 추론에는 GPU가 필요하지만 검색이나 API 호출, 외부 프로그램 실행은 상당 부분 CPU에서 이뤄진다. 사용자 계정이나 사내 시스템에 접근하려면 에이전트에 인증정보와 권한을 맡겨야 하는 만큼 보안 격리의 중요성도 커진다.
 김 CTO는 “기존에는 GPU가 좋은 게 있어야 하고 GPU가 많아야 한다는 데 초점이 맞춰졌다면 에이전트는 모델뿐 아니라 컨텍스트와 도구가 함께 붙는다”며 “CPU도 병목이 되고 메모리도 병목이 되는 상황”이라고 말했다.
 래블업이 개발 중인 ‘누빔(Neuvm)’도 이 문제를 겨냥한다. 컨테이너는 가볍고 빠르지만 운영체제를 공유해 보안 격리에 한계가 있고, 가상머신(VM)은 격리 수준이 높지만 대규모 에이전트를 동시에 실행하기에는 상대적으로 무겁다. 래블업은 두 방식의 장점을 결합해 에이전트별 실행 환경과 자원을 격리하면서도 대규모 운영이 가능한 구조를 개발하고 있다.
 현재 백엔드닷에이아이:고(Backend.AI:GO)에서는 개별 에이전트를 VM으로 격리하는 단계까지 구현했으며, 서버 환경에서 다수의 에이전트를 운영하기 위한 자원 관리 계층을 추가 개발 중이다.
 래블업이 내세우는 또 다른 경쟁력은 실제 운영 경험이다. GPU와 네트워크, 스토리지부터 고객사의 기존 시스템과 보안 정책까지 조건이 서로 다른 만큼 AI 인프라는 같은 소프트웨어를 설치한다고 똑같이 작동하지 않는다. 래블업은 다양한 기업 환경에서 제품을 운영하며 축적한 장애 대응과 하드웨어·워크로드 조합 경험을 기술 자산으로 보고 있다.
 해외에서는 네오클라우드 시장도 주요 공략 대상으로 보고 있다. 네오클라우드는 대규모 GPU를 확보해 기업에 빌려주는 사업자로, GPU 자체만 임대할 경우 결국 가격 경쟁에 직면한다는 게 김 CTO의 판단이다.
 그는 “돈을 더 받으려면 GPU만 줘서는 안 되고 부가가치 서비스를 제공해야 한다”며 “네오클라우드는 래블업의 고객사이자 파트너가 될 수 있다”고 말했다. 래블업이 직접 GPU를 보유해 클라우드 사업자가 되는 대신 네오클라우드가 GPU 위에 더 높은 수준의 AI 서비스를 빠르게 구축할 수 있도록 인프라 소프트웨어를 제공해 시장 진입 시간을 줄이겠다는 전략이다.
 향후 래블업은 에이전트 플랫폼을 강화하는 동시에 ‘모두의 AI’를 통해 대규모 추론 서비스를 운영하며 최적화 노하우를 축적할 계획이다. 이후 해외 시장에서 실제 고객 레퍼런스를 확대하는 것이 목표다.
 김 CTO는 AI가 산업화 단계에 진입할수록 결국 경쟁력은 비용 효율에서 갈릴 것으로 내다봤다. 그는 “산업화된다는 것은 결국 비용 효율을 따질 수밖에 없다는 의미”라며 “이제는 된다, 안 된다가 아니라 다 되는데 누가 더 효율적으로 하느냐가 성패를 가를 것”이라고 말했다. 이어 “모두가 가장 높은 수준의 AI를 써야 하는 것은 아니다”며 “적정한 비용에 적정한 품질의 AI를 얼마나 쉽게, 저비용으로 조달해 쓸 수 있느냐가 더 중요해질 것”이라고 강조했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기