【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI 에이전트 확산에 달라진 인프라 기준…GPU 개수보다 ‘토큰 생산성’

온카뱅크관리자

2026-09-15 09:17:25

<div id="layerTranslateNotice" style="display:none;"></div> 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="8RAxuIkLCY">
 - 반복 추론·외부 도구 호출에 GPU 유휴시간·전력 소비 증가
 <div contents-hash="0b66d5ec2f0aeedcea9584377a9818ba3a83475de7123df919f9a95cf570dc0b" dmcf-pid="PiDdBSrNTy" dmcf-ptype="general">
 - 엘리스그룹, PMDC·ECI 결합해 물리 인프라 구축과 자원 운영 연결
 </div>
 <figure class="figure_frm origin_fig" contents-hash="b5202d26cdb93beaa87b24e6973ae3f42dbbb76827550508cd0301a4b4b8eff0" dmcf-pid="QnwJbvmjhT" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/15/552796-pzfp7fF/20260915090856811useu.jpg" data-org-width="640" dmcf-mid="4bMqYae4hG" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/15/552796-pzfp7fF/20260915090856811useu.jpg" width="658">
 </figure>
 [디지털데일리 이안나기자] AI 산업 무게중심이 프롬프트에 답하는 생성형 AI에서 상황을 판단하고 복잡한 업무를 수행하는 AI 에이전트로 옮겨가고 있다.
 AI 에이전트는 추론과 외부 도구 호출, 계획 수립을 반복하면서 GPU 등 연산자원 운용을 더욱 복잡하게 만든다. 이에 따라 GPU 성능이나 개수보다 시스템 전반의 운영 효율이 중요해지고 있다.
 ◆ GPU 유휴시간 최대 54.5%…운영 효율 과제로
 생성형 AI는 대체로 ‘질문-답변’ 구조인 단일 호출 방식으로 동작한다. 반면 AI 에이전트는 목표를 달성할 때까지 여러 차례 대규모언어모델(LLM)을 호출하고 외부 도구와 연계해 작업한다. 이 과정에서 처리하는 토큰과 전체 응답시간도 늘어날 수 있다.
 카이스트(KAIST) 전기 및 전자공학부 유민수 석좌교수 연구팀이 AI 에이전트 연산량과 에너지 소비를 분석한 결과 여러 차례 LLM 호출을 반복하는 AI 에이전트 응답시간은 단일 호출 방식보다 최대 153.7배 길었다.
 늘어난 시간 상당 부분은 GPU가 실제 연산을 수행하는 시간이 아니었다. 에이전트가 검색이나 계산 같은 외부 도구에서 결과를 기다리는 동안 발생한 GPU 유휴시간은 전체 실행시간 중 최대 54.5%에 달했다. 고성능 GPU를 투입하더라도 외부 도구 호출과 데이터 이동, 네트워크 지연을 포함한 처리 과정 전반을 효율적으로 운영하지 못하면 GPU 활용률이 떨어질 수 있다는 의미다.
 에너지 소비도 증가했다. 연구에서 리플렉션(Reflexion) 에이전트가 ‘라마3.1 70B’ 모델을 엔비디아 A100 GPU 8개로 구동한 경우 질의 한 건당 평균 348.41Wh를 소비했다. 단일 호출 방식인 2.55Wh보다 136.5배 높은 수치다. 다만 이는 특정 모델과 하드웨어, 에이전트 구성에서 측정한 결과로 모든 에이전트 서비스에 동일하게 적용되는 수치는 아니다.
 이러한 변화로 AI 인프라 평가 기준도 달라지고 있다. 그동안 인프라 경쟁력은 GPU 개수와 데이터센터 총전력 용량, 이론상 연산성능인 플롭스(FLOPS) 등 하드웨어 규모를 중심으로 평가돼 왔다.
 그러나 이들 지표는 투입한 자원 규모를 보여줄 뿐 실제 AI 서비스가 얼마나 효율적으로 운영되는지까지 설명하지는 못한다. 같은 모델과 서비스 품질을 기준으로 시간당 얼마나 많은 토큰을 생성하는지, 1kWh 전력이나 일정 비용으로 얼마나 많은 토큰을 처리하는지를 함께 살펴야 한다는 주장이 나오는 이유다. 토큰 생산성은 아직 업계 표준으로 자리 잡지 않아 응답시간과 작업 성공률, 서비스 안정성도 함께 고려해야 한다.
 GPU 활용률을 높이려면 자원을 개별 서비스에 고정 배정하는 방식에서 벗어나 여러 모델과 작업이 공유하는 자원 풀로 운영할 필요가 있다. 한 에이전트가 외부 작업을 기다리는 동안 다른 요청을 실행하고 모델별 수요 변화에 따라 GPU 배분을 조정하는 방식이다. 이를 위해서는 고성능 스토리지와 고속 네트워크, 스케줄링 소프트웨어뿐 아니라 안정적인 전력·냉각 시스템이 함께 갖춰져야 한다.
 ◆ 모듈형 데이터센터 경쟁…운영 소프트웨어로 차별화
 국내에서는 엘리스그룹이 이동식 모듈형 AI 데이터센터 ‘PMDC(Portable Modular Data Center)’와 AI 클라우드 인프라 소프트웨어 ‘ECI(Elice Cloud Infrastructure)’를 결합해 관련 사업을 추진하고 있다.
 PMDC는 GPU 서버와 네트워크, 전력, 냉각 설비를 모듈 단위로 통합하는 방식이다. 주요 설비를 공장에서 미리 제작하면서 현장에서는 기초공사와 전력 인프라 준비를 병행할 수 있고, 수요 증가에 맞춰 단계적으로 확장할 수 있다.
 엘리스그룹이 제시한 약 3개월은 부지와 전력 등 주요 기반 여건을 확보한 상태에서 PMDC를 제작하고 설치하는 기간이다. 부지 확보와 인허가, 외부 전력 인입은 별도로 고려해야 하며 시운전과 검증 기간도 구축 환경에 따라 달라진다.
 ECI는 이렇게 확보한 GPU와 컴퓨팅 자원을 하나의 논리적 자원 풀로 통합해 운영한다. 자체 가상화 기술을 바탕으로 작업 특성에 맞춰 GPU 자원을 할당하고, 여러 GPU와 클러스터를 대규모 모델 학습과 추론에 활용하도록 지원한다.
 엘리스그룹 관계자는 “ECI는 GPU를 특정 작업에 고정적으로 할당하기보다 실제 연산이 필요한 작업 단위로 자원을 스케줄링한다”며 “대기시간이 발생한 동안에는 중단이나 재개가 비교적 자유로운 다른 워크로드에 GPU를 할당하거나 여러 테넌트의 작업을 하나의 GPU 자원 풀에서 함께 스케줄링할 수 있다”고 설명했다.
 대규모 학습에는 고밀도 GPU 배치와 고성능 인터커넥트를 중심으로 자원을 구성하고, 추론이나 AI 에이전트처럼 사용량 변화가 큰 작업에는 자원 공유와 동적 스케줄링을 적용하는 방식이다.
 엘리스그룹은 생성형 AI 서비스 ‘헬피챗’과 AI 문서 분석 솔루션 ‘헬피비전’을 자체 인프라에서 운영하고 있다. 의료·바이오 분야 고객사도 PMDC와 ECI 기반 엘리스클라우드 GPU 인프라를 이용하고 있다. 부산 산업단지에 구축할 조선·해양 엣지 AI 데이터센터에도 두 기술을 적용할 예정이다. 다만 외부 도구를 반복 호출하는 AI 에이전트 환경에서 ECI 적용 전후 GPU 활용률이나 처리량이 얼마나 달라졌는지는 공개되지 않았다.
 모듈형 AI 데이터센터 시장에는 여러 국내 기업이 참여하고 있다. 아이에이클라우드는 ‘네오큐브’ 상용화를 추진하고 있으며 아크릴도 ‘지피유베이스(GPUBASE)’를 중심으로 관련 구축 사업에 나서고 있다.
 엘리스그룹이 내세우는 차별점은 모듈 자체보다 물리 인프라 설계와 클라우드 운영을 연결하는 데 있다. GPU·NPU 종류와 학습·추론 비중에 맞춰 PMDC 전력과 냉각, 랙, 네트워크 구성을 설계하고 ECI로 자원을 배분한다. 운영 과정에서 확보한 데이터를 다시 PMDC 설계와 인프라 구성에 반영하는 구조다.
 박정국 엘리스그룹 최고기술책임자(CTO)는 “AI 에이전트가 산업 전반으로 확산되면서 AI 인프라의 기준 또한 새롭게 재정의되고 있다”며 “막대한 연산량을 요구하는 에이전트 환경에서는 동일한 자원으로 더 높은 토큰 생산성을 확보할 수 있도록 서버·네트워크·스토리지·소프트웨어를 유기적으로 최적화하는 풀스택 운영 역량이 중요해지고 있다”고 강조했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기