로그인
보증업체
스포츠중계
스포츠분석
먹튀사이트
지식/노하우
판매의뢰
업체홍보/구인
뉴스
커뮤니티
포토
포인트
보증카지노
보증토토
보증홀덤
스포츠 중계
기타
축구
야구
농구
배구
하키
미식축구
카지노 먹튀
토토 먹튀
먹튀제보
카지노 노하우
토토 노하우
홀덤 노하우
기타 지식/노하우
유용한 사이트
제작판매
제작의뢰
게임
구인
구직
총판
제작업체홍보
실시간뉴스
스포츠뉴스
연예뉴스
IT뉴스
자유게시판
유머★이슈
동영상
연예인
섹시bj
안구정화
출석하기
포인트 랭킹
포인트 마켓
로그인
자동로그인
회원가입
정보찾기
뉴스
더보기
[실시간뉴스]
6년 만의 '수능 한파'…아침 영하권에 도로 살얼음 주의
N
[실시간뉴스]
가을장마에 콩 80% 피해…"농업재해 인정해야"
N
[실시간뉴스]
서울시의회, 한강버스 의혹 이틀째 공방…건조비 정산·리베이트 의혹 도마(종합)
N
[IT뉴스]
AI 모델 살빼고 GPU 놀리지 않는다… 효율화 기술 부상 [테크언커버드]
N
[IT뉴스]
‘전자오락수호대’부터 ‘각시탈’ 복간까지…와디즈 ‘삼무서점’ 소장판 열풍
N
커뮤니티
더보기
[자유게시판]
드디어 금요일이군요
[자유게시판]
오늘 다저스 어떻게 생각하시나요
[자유게시판]
하아 댓노
[자유게시판]
식곤증지립니다요
[자유게시판]
벌써 불금이네요
목록
글쓰기
[IT뉴스]AI 모델 살빼고 GPU 놀리지 않는다… 효율화 기술 부상 [테크언커버드]
온카뱅크관리자
조회:
4
2026-11-18 17:57:26
<div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">가지치기·양자화·그래프 최적화 등 적용<br>메모리·연산량 줄여 컴퓨팅 자원 경량화<br>30%대 GPU 가동률 높이기도 업계 화두<br>엔비디아 작업분할 기술 MIG·MPS 주목 <br>“주요 업무서 답변 정확도 유지 확인해야”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="7GgMSWrNCd"> <figure class="figure_frm origin_fig" contents-hash="c79dde5619a408672e14fda7e7acf7638caf7aebff8f8cc0f156486075fcf4ac" dmcf-pid="zHaRvYmjhe" dmcf-ptype="figure"> <p class="link_figure"><img alt="챗GPT로 제작한 이미지." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/18/seouleconomy/20261118174727491kvdi.png" data-org-width="1200" dmcf-mid="UceFigPKSi" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/18/seouleconomy/20261118174727491kvdi.png" width="658"></p> <figcaption class="txt_caption default_figure"> 챗GPT로 제작한 이미지. </figcaption> </figure> <p contents-hash="e2feb3e42ce8e48d2b5ca7a0b913b454c39d4c16e45619d1bdd63fe312a955ba" dmcf-pid="qXNeTGsAvR" dmcf-ptype="general">살을 빼고 나서 기초 체력까지 떨어진다면 성공한 다이어트라고 할 수 없다. 쉽게 피로를 느끼면서 일상 생활에 지장을 받게 된다. 이같은 다이어트의 원칙이 최근 인공지능(AI) 모델에도 그대로 적용되고 있다. AI 모델의 크기와 운영 비용을 줄이면서 동시에 기본적인 업무 처리 속도, 품질이 일정 수준 이상 나오기를 기대하는 것이다. 이는 글을 쓰고 질문에 답하는 데 머물렀던 생성형 AI가 스스로 업무를 수행하는 AI 에이전트와 현실 세계에서 직접 움직이는 피지컬 AI로 진화하면서 추론 비용 부담이 커진 데 따른 것이다. AI 시장의 경쟁 기준이 ‘얼마나 똑똑한가’에서 ‘얼마나 경제적으로 똑똑한가’로 바뀌면서 비용 효율화 기술이 기업의 수익성을 좌우할 핵심 변수로 떠오를 전망이다.</p> <blockquote class="talkquote_frm" contents-hash="a8228fd0963870b5ea8b9ac6450eb0b25301204cfc19d6a43c7dca2cc3f345e0" dmcf-pid="BZjdyHOcvM" dmcf-ptype="blockquote2"> 자르고 압축시켜 가볍게 만든다 </blockquote> <div contents-hash="21c947f23602b472dcd613fb482845969a0d9157c6b3fc3b09c78848224d8483" dmcf-pid="bjb3naQ9hx" dmcf-ptype="general"> AI 모델을 효율화, 최적화하는 대표적인 방법으로 경량화가 손꼽힌다. 경량화란 AI 모델을 가볍게 만드는 것으로, 모델이 차지하는 메모리, 연산량을 줄여 더 적은 컴퓨팅 자원으로 AI 모델을 구동할 수 있도록 하는 게 핵심이다. </div> <p contents-hash="a2ef6cb87f7d7c5e5cd538476d762d22f8e58494e37be9960b0e1e680469cb00" dmcf-pid="KAK0LNx2yQ" dmcf-ptype="general">AI 모델 경량화가 주목받는 것은 AI 추론 수요가 늘면서 비용 부담이 커지기 때문이다. 김형준 스퀴즈비츠 대표는 “추론은 사용자가 서비스를 이용할 때마다 발생하는 것으로, 이용자가 많아질수록 필요한 컴퓨팅 자원과 비용이 같이 늘어난다”며 “생성형 AI처럼 모델이 크거나 이미지·영상 생성처럼 연산량이 많은 서비스에서는 모델을 얼마나 효율적으로 돌리느냐가 서비스 비용과 속도에 직접적인 영향을 준다”고 말했다.</p> <p contents-hash="69f04131de8ccae6a5f0b5c1910c7729752581d913777db0746c00e4ea556c3c" dmcf-pid="9c9pojMVyP" dmcf-ptype="general">AI 연산의 무게중심이 학습에서 추론으로 옮겨가고 있는 점도 경량화의 필요성을 높이는 요인으로 지목된다. 실제로 글로벌 회계·컨설팅기업 딜로이트에 따르면 전체 AI 연산에서 추론이 차지하는 비중은 3년 전만 해도 전체 3분의 1에 불과했지만 올해 3분의 2로 학습보다 더 많아질 것으로 전망된다. AI를 개발하는 데서 나아가 실제 업무에 사용하는 수요가 커진 결과다.</p> <p contents-hash="9579b523a0b3ed4f56d21229a4e76a69c877c9e9c20821ea1abd299b51ba508b" dmcf-pid="2k2UgARfy6" dmcf-ptype="general">업계에서 기본적으로 적용하고 있는 AI 모델의 경량화 기술은 가지치기, 양자화, 그래프 최적화 등이 있다. 먼저 가지치기 기술은 AI 모델의 수많은 신경망 중 중요도가 낮은 연결, 구성요소를 잘라내는 원리다. 나무가 더 잘 자라도록 잔가지를 쳐내는 것과 같다.</p> <p contents-hash="20f27f338d8c00542a9d7fbc00c0a5a027fe3f3c1cd158514572bc42a029b2db" dmcf-pid="VEVuace4C8" dmcf-ptype="general">양자화 기술은 AI 모델에서 32비트로 표현되는 데이터를 8비트, 4비트 단위로 짧게 압축하는 방식이다. 연산 과정에서 데이터를 고대역폭메모리(HBM)로 이동하는 횟수를 줄이고 연산 순서를 빠르게 처리할 수 있도록 재배열하는 그래프 최적화 방식도 AI 모델을 경량화하는 대표적 기술로 손꼽힌다. 유승주 서울대 컴퓨터공학부 교수는 “그래프 최적화는 연산 결과의 품질을 떨어트리지 않는 반면 양자화와 가지치기는 어느 정도 품질에 영향을 준다”며 “품질이 조금 떨어질 수 있지만 표가 안 나도록 적정선을 지키는 게 중요하다”고 설명했다.</p> <figure class="figure_frm origin_fig" contents-hash="7d2c1b316a87b9809c406ddcbcf47ac628ddfe1b91b90053e876b7dda2d5f6a0" dmcf-pid="fDf7Nkd8C4" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/18/seouleconomy/20261118174729044vpic.jpg" data-org-width="1200" dmcf-mid="ua9pojMVvJ" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/18/seouleconomy/20261118174729044vpic.jpg" width="658"></p> </figure> <blockquote class="talkquote_frm" contents-hash="39b7a337cee06b83f1150293f832e5a47ac01ffbf8a5cd78240103afecbe245a" dmcf-pid="4w4zjEJ6vf" dmcf-ptype="blockquote2"> 30%만 가동하는 GPU도 최적화 대상 </blockquote> <div contents-hash="82681d687a4f9da47ab35d8b096b05d18cd57a773efc58d5287e2e414d5f1913" dmcf-pid="8r8qADiPyV" dmcf-ptype="general"> AI 모델의 몸집을 줄였다고 곧바로 속도가 빨라지고 비용이 줄어드는 것은 아니다. 경량화한 모델을 구동하는 그래픽처리장치(GPU) 등 하드웨어가 바뀐 계산 방식을 효율적으로 처리할 수 있어야 한다. 모델을 가볍게 만드는 기술과 하드웨어의 성능을 최대한 끌어내는 최적화가 함께 필요한 것도 이같은 이유에서다. 김 대표는 “하드웨어마다 잘 처리할 수 있는 연산과 지원하는 데이터 형식이 다르고 메모리 구조, 데이터 이동 방식도 다르다”며 “같은 GPU더라도 제품이나 세대가 바뀌면 최적의 설정이 달라질 수 있다”고 설명했다. </div> <p contents-hash="3dab78345ec0a35d328b0d033f7d9070ebf7710f51442a5071417c4f6d3260f4" dmcf-pid="6m6BcwnQv2" dmcf-ptype="general">아울러 AI 추론 비용을 줄이는 데 GPU의 효율화도 중요한 요소로 손꼽힌다. 장당 수천만 원에서 1억 원대로 가격이 높을 뿐만 아니라 GPU를 구하는 것도 쉽지 않다. 어렵게 구한 GPU를 가장 효율적으로 쓰려는 수요가 높을 수밖에 없다. 김준기 래블업 최고기술책임자(CTO)는 “기본적으로 GPU를 100% 가동할 수 없고 30~50%만 유효한 연산 작업을 하는 데 쓰인다”며 “네트워크를 통해 데이터를 주고받거나 읽어오고 기록하는 동안에는 GPU 연산이 멈춰있는데 이를 효율화하는 것도 최근 업계의 주요 관심사”라고 언급했다.</p> <p contents-hash="0aa248d48602606d57cf5ab5b78616ea8ba24354caa11b91fb3c72eb0cf42866" dmcf-pid="PsPbkrLxW9" dmcf-ptype="general">GPU 한 장을 여러 작업에 나눠 쓰게 하는 기술로 엔비디아의 MIG 방식과 MPS 방식이 거론된다. MIG는 하나의 GPU를 하드웨어 수준에서 분할해 사용하는 방식이다. 마치 한 사무실 안에 여러 방으로 나눠 작업이 이뤄지는 것과 같다. 다른 사용자, 작업의 간섭 없이 안정적으로 GPU를 사용할 수 있는 게 특징이다. MIG와 달리 MPS는 소프트웨어상에서 여러 프로그램이 GPU를 동시에 공유하도록 지원하는 방식이다. 가령 한 사무실에서 여러 사람이 다른 작업을 사용하는 것으로, 사용량에 따라 GPU를 나눠 쓰는 게 가능하지만 한 작업이 작동을 멈추면 전체 GPU가 중단될 수 있다. 김 CTO는 “GPU로 동시에 진행하는 작업의 유형, 특징에 따라 전체 연산 속도는 5% 내로 떨어질 수 있다”면서도 “전체 작업량은 늘어나서 생산성은 개선되는 셈”이라고 덧붙였다.</p> <blockquote class="talkquote_frm" contents-hash="19f2f20a5c2022f481d9a9014f6b2c67c4c4cd8f6b8c20a9cdee047545db261e" dmcf-pid="Qk2UgARfhK" dmcf-ptype="blockquote2"> 피지컬 AI 부상할수록 기술 중요도 ‘껑충’ </blockquote> <div contents-hash="1f50bef4da9dcbb2ee527f5b2e9ca0d81bb8182b35bd77add6cc854276eb7759" dmcf-pid="xEVuace4lb" dmcf-ptype="general"> 현재 많은 기업들이 이같은 기술들을 최대한 활용해 AI, GPU를 효율화하고 있다. 업스테이지는 최근 출시한 ‘솔라 오픈2’ 모델에 노타의 AI 모델 경량화 기술을 접목했다. 그 결과 기존에 엔비디아 H100 GPU 8장이 필요했던 작업을 2장만으로 처리할 수 있게 됐다. 노타는 알리바바의 AI 모델인 ‘큐웬 3.8 맥스’에도 경량화 기술을 적용해 B300 GPU를 24장에서 4장으로 줄였다. 스퀴즈비츠는 엔비디아의 월드 모델인 ‘코스모스’에 기술을 적용해 약 3.1배 빠른 추론 속도를 구동해냈다. 래블업의 경우 고객사가 래블업의 GPU 자원 관리 최적화 솔루션을 사용한 결과 GPU 활용률이 35%에서 85%까지 올라갔다. </div> <p contents-hash="c38257581d496e7e5b8ee96d1559572f0fd50bd621ce628f78f66c8ca7ced20b" dmcf-pid="yzIc3uGhCB" dmcf-ptype="general">다만 AI 모델이 거대언어모델(LLM)에서 영상, 음성인식모델 등으로 다양해지면서 효율화도 더 복잡해지고 있다. 김 대표는 “LLM에서는 주요 업무에서 답변의 정확도, 지시 수행 능력이 유지되는지를 확인해야 하고 영상인식 모델에서는 특정 객체를 영상에서 놓치지 않는지 따져봐야 한다”며 “필요하면 추가 학습을 통해 성능을 보완해야 한다”고 했다.</p> <p contents-hash="36111c944cbd94b83000b2b57d0f397de9c7406299c0959d3c9af006a4ead07c" dmcf-pid="WqCk07Hlyq" dmcf-ptype="general">기술을 접목해 효율화의 결과를 내기까지 쉽지만은 않지만 향후 AI 시장에서 기술의 중요성은 더 커질 것으로 전망된다. 유 교수는 “로봇이 실시간 중요한 판단, 제어를 하기 위해서는 컴퓨팅 파워가 커야 한다”면서 “(현실적으로) 제한된 컴퓨팅 인프라에서 로봇을 구현시키는 데 경량화 기술이 더 필요해질 것”이라고 내다봤다. 김 CTO 역시 “로봇의 움직임, 관절 제어, 균형 잡기에는 로봇 내부의 자체 GPU를 활용하고 고차원적 행동, 판단, 복잡한 작업에는 클라우드를 이용하는 방식이 될 것”이라며 “이때 학습과 추론이 동시에 들어가야 해서 경량화 기술이 필요하다”고 강조했다.</p> <p contents-hash="e836897c9048278a40cd3bcd6669eaabc4caa086af91b7b9cf576eb158d59a24" dmcf-pid="YBhEpzXSCz" dmcf-ptype="general">김지영 기자 jikim@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p>
댓글등록
댓글 총
0
개
맨위로
이번주
포인트
랭킹
매주 일요일 밤 0시에 랭킹을 초기화합니다.
1
4,000
상품권
2
3,000
상품권
3
2,000
상품권
업체홍보/구인
더보기
[구인]
유투브 BJ 구인중이자나!완전 럭키비키자나!
[구인]
에카벳에서 최대 조건으로 부본사 및 회원님들 모집합니다
[구인]
카지노 1번 총판 코드 내립니다.
[구인]
어느날 부본사 총판 파트너 모집합니다.
[구인]
고액전용 카지노 / 헬렌카지노 파트너 개인 팀 단위 모집중 최고우대
지식/노하우
더보기
[카지노 노하우]
혜택 트렌드 변화 위험성 다시 가늠해 보기
[카지노 노하우]
호기심이 부른 화 종목 선택의 중요성
[카지노 노하우]
카지노 블랙잭 카드 조합으로 히트와 스탠드를 결정하는 방법
[카지노 노하우]
흥부가 놀부될때까지 7
[카지노 노하우]
5월 마틴하면서 느낀점
판매의뢰
더보기
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
포토
더보기
채팅하기