【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]GPU 수십만 장 확보해도 … 제대로 못 돌리면 AI 성능 '반쪽'

온카뱅크관리자

2026-08-31 18:07:26

<div id="layerTranslateNotice" style="display:none;"></div> "GPU 활용률 높여라" AI 경쟁, 운영 효율 싸움으로 한 장 수억짜리 GPU 구매해도 전체 가용 성능의 절반도 못써 GPU 활용률 2배 끌어올리면 작업처리 시간·비용 절반으로 한국이 AI모델 개발 몰두할때 엔비디아, 최적화 기술 상용화 "GPU 운용이 소버린AI 좌우" 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="W1VLpMTsC9">
 <figure class="figure_frm origin_fig" contents-hash="cd1febf92fed1ea7ad8125fb30b23fa79d45afc73930a939b742b1d66f707d65" dmcf-pid="YtfoURyOWK" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/31/mk/20260831180020072gdxc.jpg" data-org-width="1000" dmcf-mid="yt4gueWIh2" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/31/mk/20260831180020072gdxc.jpg" width="658">
 </figure>
 인공지능(AI) 경쟁이 그래픽처리장치(GPU) 확보에서 운용 싸움으로 넘어가고 있다. 앞으로는 GPU를 많이 확보하는 것으로 충분하지 않고, 확보한 GPU를 얼마나 효율적으로 사용하는지에 따라 경쟁의 승부가 갈릴 전망이다. GPU 26만장을 확보한 한국에 GPU 운용 기술은 소버린 AI를 달성할 마지막 열쇠로 꼽힌다.
 31일 관련 업계에 따르면 운용 소프트웨어 없이 GPU를 작동시킬 경우 활용률은 30~50% 수준에 그친다. 실제로 마이크로소프트가 자사 AI 플랫폼을 분석한 결과에서도 전통적인 방식으로 작동시킨 GPU 활용률은 평균 48%에 머물렀다. 1장에 수억 원이 넘어가는 GPU를 구매해도 절반 정도밖에 쓰지 못하는 셈이다.
 지금까지 한국은 보유한 GPU 자체가 워낙 적어 활용률이 큰 문제로 떠오르지 않았다. 하지만 보유 수량이 늘어날수록 활용률의 경제적 가치는 기하급수적으로 커진다. 단순 연산으로도 GPU 26만장의 활용률을 10%포인트만 올려도 GPU 2만6000장을 추가로 구매하는 효과와 맞먹기 때문이다.
 ◆ 활용률 관건은 효율적 자원 배분
 GPU 활용률이 떨어지는 건 기본적으로 자원의 비효율적인 활용 때문이다. 직원이 적으면 각자에게 적합한 업무를 할당할 수 있지만, 직원이 많아지면 일 잘하는 소수 직원에게만 일이 몰리고 일부 직원은 계속해서 노는 것과 같은 원리다. 이 문제를 해결하려면 모든 직원에게 업무를 골고루 나눠줄 수 있는 일 잘하는 리더가 필요하다. 여러 회사가 개발에 매달리고 있는 것도 이 지휘자 역할을 해줄 수 있는 'GPU 운용 소프트웨어'다.
 GPU 운용의 병목은 GPU 1장부터 데이터센터 전체까지 여러 층위에서 발생한다. 우선 단일 GPU 내에서도 연산·메모리·연결 파트 간 작업 능력이 달라 특정 부품에서 병목이 생기면 전체 작업이 지체된다. 여러 개의 GPU를 연결할 때는 데이터를 주고받는 과정에서 통신 병목이 생겨 선행 작업을 마친 GPU가 대기하는 비효율이 커진다. 수천~수만 개의 GPU가 연결된 데이터센터 단위에서는 특정 장비에만 작업이 몰려 자원이 남는데도 투입하지 못하는 문제가 발생하므로 작업 스케줄링 기술이 핵심으로 떠오른다. 한동수 KAIST 전기및전자공학부 교수는 "작업마다 연산 형태가 다르기 때문에 GPU 최적화는 작업의 특징을 빠르게 파악하고 대처하는 기술이 중요하다"고 설명했다.
 ◆ 엔비디아 의존도부터 낮춰야
 엔비디아·메타·아마존 등 글로벌 빅테크는 자체 최적화 기술을 갖추고 있으나, 이는 핵심 경쟁력이어서 외부에 판매하지 않는다. 현재 최적화 기술을 상용화해 판매하는 대표적 기업은 엔비디아다. 엔비디아는 하드웨어와 운용 소프트웨어를 묶어 파는 'AI 팩토리'를 통해 시장을 독점하려는 움직임을 보이고 있다. 한 교수는 "GPU 운용 체계까지 엔비디아에 의존하게 된다면 한국의 소버린 AI 달성은 어려워질 것"이라며 협상력을 높이기 위한 자체 최적화 기술 확보를 당부했다. 특히 제조 AI를 주요 전략으로 삼는 한국은 제조업의 평균 매출액영업이익률이 5.1%(중소기업 3.9%)로 낮아 비용 절감이 절실하다. 영업이익률이 높은 미국 빅테크와 달리 국내 기업에 GPU 최적화는 생존과 직결된 문제다.
 국내에서도 독자적인 최적화 기술을 보유한 기업들이 성과를 내고 있다. 국내 1위 AI 인프라스트럭처 스타트업 '래블업'의 '백엔드닷AI'는 GPU를 0.1장 단위로 쪼개 자동 배정하는 가상화·스케줄링 기술로 GPU 활용률을 약 85%까지 끌어올린다. 무작정 GPU를 사용했을 때보다 활용률이 2배 가까이 올라가는 것이다. 단순 계산으로는 같은 시간 내 작업 처리량이 2배로 늘어나고, 같은 작업량으로 보면 시간과 비용을 2배 절감할 수 있다는 이야기다. 
 ◆ 국가적 과제 삼고 활용률 제고를
 GPU 최적화 분야에서 세계적인 수준의 기술을 갖췄음에도 업계에서는 아직 한국에서 GPU 활용률의 중요성에 대한 인식이 부족하다고 말한다. 김준기 래블업 최고기술책임자(CTO)는 "아직 국내에 제대로 된 대국민 AI 서비스가 없어서 수천 장의 GPU를 동원한 경험이 없고 GPU가 얼마나 놀고 있는지, 어디서 병목이 생기는지를 체감할 기회가 적었다"고 했다. 지금까지는 연구실 수준에서 GPU를 사용한 경우가 많아 연산 자원이 부족하면 GPU를 추가로 확보하는 데 그쳤다.
 정부의 소버린 AI 전략도 마지막 퍼즐로 꼽히는 GPU 운용 기술에는 신경을 쓰지 못했기에 이대로라면 한국의 소버린 AI 전략은 반쪽짜리에 그칠 것이라는 우려가 나온다. 김 CTO는 "앞으로 주요국 사이에서 GPU 활용률 문제는 AI 경쟁력의 주요 지표가 될 것"이라며 "국가 산업의 기본 인프라가 엔비디아에 전적으로 종속되면 '소버린'이라고 말하기 어렵다"고 했다. 한 교수는 "정부가 신경을 쓰지 않으면 앞으로 소버린 AI의 성패를 장담하기 어렵다"고 강조했다.
 [최원석 기자]
 </section> 
 </div> 
 Copyright © 매일경제 &amp; mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기