【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]에이전틱 시대, 인프라 성능의 새 기준 ‘실효 성능’ [테크리포트]

온카뱅크관리자

2026-09-02 07:27:25

<div id="layerTranslateNotice" style="display:none;"></div> 에이전틱 AI용 CPU 인프라, 코어 수 집적 넘어 시스템 디자인의 균형 중요 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="PXVnx3Ikdk">
 인공지능(AI)의 중심축이 '추론'과 '에이전틱 AI'로 옮겨가면서 AI 인프라도 달라지고 있다. GPU(그래픽처리장치) 중심에서 벗어나 CPU(중앙처리장치)와 다양한 이종 가속기를 조합하는 구조로 전환되는 가운데, 서버를 넘어 랙 단위로 주요 구성 요소를 통합한 '랙스케일' 솔루션이 주목받는다. 인텔과 AMD, 엔비디아도 에이전틱 AI를 겨냥한 CPU 기반 랙스케일 솔루션을 선보였다.
 <div contents-hash="a87682a7cc7bb06bf4856ae303181a960d25a1072018c4ccd3ce46c82d1fcfb9" dmcf-pid="x54oRphDeA" dmcf-ptype="general">
 CPU 기반 랙스케일 솔루션은 랙 안에 많은 코어와 CPU, 노드를 집적하는 것만으로는 충분하지 않다. 랙을 구성하는 요소들간 균형있게 연결돼야 한다. 이에 랙스케일 솔루션을 평가할 때도 이론적 최대성능보다 실제 서비스 환경에서 구현할 수 있는 '실질 처리 용량'을 기준으로 삼아야 한다는 의견이 힘을 얻고 있다. '실질 처리 용량'을 극대화하려면 자원을 늘리는데 그치지 않고 실리콘 설계 단계부터 데이터센터까지 고려한 세심한 '균형'이 필요하다.
 </div>
 <figure class="figure_frm origin_fig" contents-hash="d9ce1ca4cc635040f179ae1cba07630f3b7cbac3ac2651a9503b6a54862e0713" data-idxno="451498" data-type="photo" dmcf-pid="ynhtYj4qdj" dmcf-ptype="figure">
 <img alt="인텔의 E-코어 CPU 기반 '랙스케일 블루프린트' 주요 사양 / 권용만 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/02/552810-SDi8XcZ/20260902072004901mlsn.jpg" data-org-width="600" dmcf-mid="fqHOk8tWRr" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/02/552810-SDi8XcZ/20260902072004901mlsn.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 인텔의 E-코어 CPU 기반 '랙스케일 블루프린트' 주요 사양 / 권용만 기자
 </figcaption>
 </figure>
 이론적 성능과 다른 실제 성능, 핵심은 '균형'
 랙스케일 시스템의 핵심은 '밀도'다. 하지만 랙 안에 단순히 많은 코어를 집적하는 것만으로 밀도를 높일 수 있는 것은 아니다. 핵심은 시스템 전체의 디자인 측면에서 각 구성 요소를 얼마나 균형있게 연결할 수 있는지다. 단순히 보면 컴퓨팅 시스템의 성능을 결정하는 것은 성능이 가장 느린 지점으로, 이 '병목 현상'에 관한 실증은 수십년간 클러스터링 구성된 슈퍼컴퓨터나 멀티코어 CPU 등에서 충분히 증명돼 왔다.
 좀 더 자세히 보면 문제는 더 복잡해진다. 코어 수뿐 아니라 어떤 코어를 탑재하고 서로 어떻게 연결하는지, 메모리·스토리지·네트워크를 어떻게 구성하는지에 따라 시스템 특성이 달라진다. 워크로드의 성격과 규모도 성능에 영향을 미친다. 결국 시스템은 '워크로드 특성'에 맞춰 설계돼야 한다.
 멀티코어 프로세서 기반 멀티소켓 노드로 구성된 '랙스케일' 시스템에서는 모든 구성 요소가 실제로 동작했을 때 목표한 성능, 즉 '실효 성능'을 낼 수 있는지가 중요하다. 멀티 코어를 넘어 '매니 코어' 수준의 집적도에 진입한 최신 랙스케일 시스템에서는 정확한 성능을 예측하기도 쉽지 않다. 단순히 코어당 최대 성능에 코어 수를 곱한 이론적 기대값과 실제 성능 사이에는 상당한 차이가 생길 수 있다. 코어당 성능과 코어 수 모두 특유의 균형점을 벗어나면 효율이 떨어진다.
 GPU 중심의 생성형 AI 시대와 달리 여러 '작업'을 수행하는 에이전틱 AI 시대에는 CPU의 역할이 커졌다. 오늘날 에이전틱 AI 인프라에서 CPU는 다양한 작업을 관리하고 수행하며, GPU를 구동하기 위한 기본 작업도 담당한다. 수많은 에이전트를 원하는 성능으로 구동하고 고가의 GPU 인프라를 효율적으로 활용하려면 이에 적합한 성능을 갖춘 CPU가 중요하다.
 에이전틱 AI를 위한 CPU에서는 코어 유형과 코어 수, 연결 방식 사이의 '균형'이 중요하다. 이론적으로 같은 연산 성능을 갖춘 CPU라도 코어당 성능과 코어 수에 따라 성능 특성이 달라진다. 코어당 성능이 높은 '빅 코어'를 적게 탑재한 경우 코어 수 이하의 스레드에서는 높은 성능을 얻을 수 있다. 반면 코어 수보다 스레드 수가 많아지면 코어 내 시분할 작업 전환 과정에서 경합이 발생하고 성능 부담이 커진다. 
 인텔의 에이전틱 추론에 대한 계측 연구 결과에서도 에이전트 루프의 동시 실행 결과에서 프로세서 요구사항을 확인할 수 있다. 단일 요청에서는 전체 지연 시간 중 CPU가 차지하는 비중은 1% 이하였다. 하지만 동시 세션 수가 32개로 증가하면 CPU 비중이 11~15%까지 높아졌다. 이 중 94%는 스케줄링과 작업 대기열에 사용됐다. 인텔은 CPU 부하가 선형적 증가의 예상 수준을 벗어나는 이유로 스케줄링 단계의 직렬화를 꼽았다. 요청들이 스케줄링 과정에서 서로를 기다리면서 부하가 커진다는 분석한다.
 <div contents-hash="a6e1c8d0409f720f6c7a8a7af5879dc91d2c4d063fc5fe8af7c6962909e53304" dmcf-pid="1TqMfXDgJJ" dmcf-ptype="general">
 코어당 성능을 높이면 작업 중 순차적으로 수행되는 구간을 줄일 수 있지만 대기 자체를 제거할 수는 없다. 반대로 코어당 성능을 낮추고 코어 수를 늘리면 대규모 작업에서 경합을 줄일 수 있지만 순차 처리 성능에는 한계가 생긴다. 프로세서 내 여러 코어가 공유하는 메모리 대역폭과 캐시 등에서도 자원 경합이 발생할 수 있다. 어느 한 쪽이라도 균형이 무너지면 성능과 자원 활용률이 떨어진다.
 </div>
 <figure class="figure_frm origin_fig" contents-hash="c91a7324e972c7052eba820b102fb24b029bbdfcb6669b6a2290a815e369b728" data-idxno="451499" data-type="photo" dmcf-pid="tyBR4Zwaed" dmcf-ptype="figure">
 <img alt="제온 6900P/제온6+ 12채널 DDR5 지원 레노버 CSP HD350 V4 / 권용만 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/02/552810-SDi8XcZ/20260902072006172fuiz.jpg" data-org-width="600" dmcf-mid="47GzFme4Rw" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/02/552810-SDi8XcZ/20260902072006172fuiz.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 제온 6900P/제온6+ 12채널 DDR5 지원 레노버 CSP HD350 V4 / 권용만 기자
 </figcaption>
 </figure>
 성능과 경제성 사이 타협 필요한 메모리 아키텍처
 프로세서에 성능이 높은 코어가 많아도 제대로 데이터를 공급받을 수 있어야 연산 성능을 발휘할 수 있다. 이에 최신 프로세서의 코어당 집적도가 빠르게 증가하면서 메모리 인터페이스의 중요성이 높아지고 있다. 메모리 인터페이스 구성은 프로세서 내부에서 컨트롤러만의 문제가 아니라, 컨트롤러와 코어를 연결하는 아키텍처 전반의, 외부로는 소켓 주위에 메모리를 배치할 물리적 공간 확보와 대역폭 구현에서의 경제성까지 복잡한 문제가 된다.
 고성능 코어에 풍족한 용량과 대역폭을 모두 갖추면 좋겠지만 현실은 쉽지 않다. HBM 등 고성능 메모리를 충분히 갖추는 것은 비용은 물론 기술적 측면에서도 어렵다. 하지만 제한된 조건 속에서 전송 성능만을 추구하면 코어당, 에이전트 세션당 쓸 수 있는 메모리 용량이 줄어들고 세션 전환 등에서의 메모리와 스토리지간 데이터 이동 과정에서 병목이 발생한다. 반대로 용량에 무게를 두면 최대 처리 성능에 한계가 생긴다.
 현재 에이전틱 AI 환경에서 어느 한 쪽을 선택한다면 '용량'이 좀 더 유리하다. 인텔은 관련 연구 결과에서 더 큰 메모리 용량으로 더 많은 세션 데이터를 메모리에 유지하는 방식이, 적은 용량의 메모리 시스템에서 필요할 때마다 세션을 재구축하는 것보다 성능에 유리하다고 평가한다. 다만 이 역시 기존 시스템 수준의 균형을 전제로 한다. 용량이 중요하더라도 최소한의 기준을 충족하지 못하면 의미가 없다.
 현재 인텔과 AMD 등의 x86 서버 플랫폼은 DDR5 메모리의 다채널 구성으로 성능을 확보하고 있다. 인텔과 AMD 모두 최신 또는 차세대 플랫폼에서 DDR5 메모리 16채널 구성을 지원한다. 이는 표준 랙마운트 서버 설계에서 공간 구성의 실질적 한계에 근접해 있다. 이보다 용량과 대역폭을 더 높이기 위한 방안으로 새로운 메모리 규격이 거론된다. 현실적인 대안으로는 기존 규격을 확장한 MRDIMM(Multiplexed Rank Dual Inline Memory Module)을 활용하는 방법이 있다.
 <div contents-hash="be543c9eaf35fef097fc7754e26dd87a9066dd1e9306a3a7b38da37350f3ea1d" dmcf-pid="uZfLM0CEdP" dmcf-ptype="general">
 용량 측면에서 또 다른 접근법은 CXL(Compute Express Link)을 사용하는 것이다. 인텔과 AMD의 최신 서버 플랫폼이 지원하는 CXL은 별도 컨트롤러를 거쳐 대용량 메모리 모듈을 추가할 수 있도록 한다. 플랫폼이 지원하는 메모리 유형과 관계없이 단일 메모리 주소 공간에서 사용할 수 있다는 점이 특징이다. 인텔과 SAP의 연구 결과에 따르면 대규모 인메모리 OLAP 데이터베이스에서 DDR5 메모리 기반 시스템에 DDR4 기반 CXL카드를 조합했을 때 성능은 순수 DDR5 기반 시스템 대비 96%의 성능을 유지하면서 메모리 총소유비용(TCO)은 약 25% 낮출 수 있었다.
 </div>
 <figure class="figure_frm origin_fig" contents-hash="f5ee1bad28de1cac407899808614bdfb1368b3d0c5efb017f02ee50b1e15817a" data-idxno="451500" data-type="photo" dmcf-pid="754oRphDL6" dmcf-ptype="figure">
 <img alt="인텔 제온6+ '클리어워터 포레스트' 프로세서 / 권용만 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/02/552810-SDi8XcZ/20260902072007447ttgq.jpg" data-org-width="600" dmcf-mid="8b04BTNdeD" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/02/552810-SDi8XcZ/20260902072007447ttgq.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 인텔 제온6+ '클리어워터 포레스트' 프로세서 / 권용만 기자
 </figcaption>
 </figure>
 <figure class="figure_frm origin_fig" contents-hash="6eb1a4533e897304358ce6ecfc5f1015ee0df0bc5b16eaf1b21584da2f8c9661" data-idxno="451501" data-type="photo" dmcf-pid="zluP9Ycnd8" dmcf-ptype="figure">
 <img alt="인텔의 차세대 제온 '다이아몬드 래피즈' 패키징 구성 / 인텔" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/02/552810-SDi8XcZ/20260902072008719ziiu.jpg" data-org-width="600" dmcf-mid="62t27loMnE" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/02/552810-SDi8XcZ/20260902072008719ziiu.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 인텔의 차세대 제온 '다이아몬드 래피즈' 패키징 구성 / 인텔
 </figcaption>
 </figure>
 실리콘부터 랙스케일까지 에이전틱 AI 시대 위한 최적화
 에이전틱 AI 시대의 워크로드 처리 성능은 단순한 최대 연산 성능만으로 가늠하기 어렵다. 다양한 이종 가속기가 연결된 환경에서는 각 장치의 처리 성능뿐 아니라 연결 성능까지 함께 고려해야 한다. 따라서 단순한 '최대 처리량'보다 최종 사용자의 최소 성능 보장을 포함한 '실질 처리 용량(Delivered Capacity)'으로 접근하는 것이 더 합리적이다. 이를 극대화하려면 코어 수를 늘리는 것에 그치지 않고 실리콘부터 플랫폼, 랙스케일 확장까지 전반적인 설계 최적화가 필요하다.
 인텔이 제안하는 '실질 처리 용량'은 이론적인 성능과 스케줄러가 실제 업무를 배치하는 효율성인 '라우팅 효율', 메모리 대역폭 등의 '자원 밸런스', 가속기를 활용해 CPU 자원을 절약한 '오프로드 효율'을 곱한 개념으로 표현된다. 이때 기준점은 최종 사용자가 납득할 수 있는 '지연시간 목표'다. 이들 구성 요소가 균형있게 최적화되지 않으면, 실제 서비스에서 확보할 수 있는 처리량은 이론적 최대 처리량에 크게 미치지 못할 수도 있다. 
 실리콘 단위의 실질 처리 용량을 높이려면 코어 단계부터 워크로드에 최적화한 설계가 필요하다. 가장 이상적인 방법은 범용성을 포기하고 특정 워크로드에 특화한 설계를 적용하는 것이지만 이 방법은 현실적으로 활용하기 어렵다. 타협점은 프로세서 내에 특정 워크로드를 위한 '가속기'를 사용하는 것이다. AI 처리를 위한 인텔의 AMX, 메모리 접근 최적화를 위한 IAA(In-Memory Analytics Accelerator), 데이터 전송 단계에서의 DSA(Data Streaming Accelerator), QAT(QuickAssist Technology) 등을 활용하면 시스템 전반의 병목을 줄이고 CPU 부담을 낮춰 처리 성능을 높일 수 있다.
 실리콘 칩 패키징 단계에서는 이러한 설계 최적화를 더 큰 규모로 확장한다. 최적의 성능을 내려면 각 구성 요소간 연결 거리를 최소화하고, 단일 실리콘 다이 위에 모든 것을 갖추는 것이 좋다. 하지만 기술적으로 만들 수 있는 단일 실리콘 다이의 크기는 한계가 있고, 워크로드와 데이터가 실리콘 다이 밖으로 이동하면 대역폭 제한 등으로 성능 저하가 발생한다. 과거의 단순한 칩렛 구조가 코어 수를 높이는 데는 효과적이었지만 실제 성능 효율이 떨어졌던 것도 다이간 연결 구조의 물리적 한계와 관련이 있다.
 최근에는 고급 패키징 기술을 통해 칩 단위 확장의 여지가 커졌다. 여러 다이를  수평으로 결합하거나 수직으로 적측하면 복수의 다이를 하나의 큰 다이처럼 연결하면서 높은 대역폭을 확보할 수 있다. 인텔은 이에 3D 패키징에 '포베로스(Foveros)' 계열을, 2.5D 패키징에는 실리콘 브릿지를 사용하는 EMIB(Embedded Multi-die Interconnect Bridge) 기술을 적용한다. TSMC 또한 실리콘 인터포저를 사용하는 2.5D 'CoWoS-S', 브릿지 방식의 'CoWoS-L', 3D 계열로 'SoIC'를 제시한다.
 물론 이러한 고급 패키징 기술도 현실적 한계는 있다. 'CoWoS-S'는 다이간 결합에 사용되는 실리콘 인터포저의 크기에 제약이 있다. 실리콘 브릿지를 사용하는 EMIB나 CoWoS-L은 크기에 제약은 없지만 칩간 트래픽이 클수록 물리적 인터커넥트를 위한 면적 할당과 트래픽 최적화 등에 주의해야 한다. 현실적으로 EMIB와 CoWoS-L의 확장 한계는 최대 단일 래티클 사이즈의 8~12배 정도로 추산된다. 2D, 3D 패키징 기술을 복합적으로 사용하면 최신 공정의 부담을 줄이면서 칩 크기를 더 키워 성능을 최적화할 수 있다.
 인텔의 차세대 P-코어 제온이 될 '다이아몬드 래피즈'나 E-코어 제온 '클리어워터 포레스트'는 실리콘과 패키징 차원에서의 설계 최적화를 보여주는 좋은 사례다. 특히 '다이아몬드 래피즈'는 CPU코어와 캐시가 들어간 컴퓨트 빌딩 블록과 인터페이스를 담당하는 패브릭 허브를 분리해 구성하고, 이를 UCIe-S로 연결해 P-코어 256개를 하나의 프로세서에 집적했다. 이 구조에서는 인터커넥트 대역폭뿐 아니라 인터커넥트 부담을 줄이기 위한 IP 배치도 중요하다. 최신 공정의 성능을 경제적으로 활용하기 위한 패키징 구성의 균형도 핵심 요소다.
 플랫폼 차원에서는 다양한 워크로드에 대응할 수 있는 유연성이 필요하다. 이 관점에서는 인텔이 가장 넓은 선택지를 제공한다. 같은 플랫폼과 명령어 체계 기반에서 코어당 성능 중심의 P-코어 기반과 밀도 중심의 E-코어 기반 CPU를 선택할 수 있고, 단일 라우팅 계층에서 다양한 에이전트 유형을 적합한 플랫폼에 매칭할 수 있다. AMD의 경우 같은 플랫폼과 명령어 체계를 공유할 수 있지만 코어 유형간 차이가 적은 부분은 장점이자 단점이다. 엔비디아의 경우 코어 유형이 하나뿐으로 이 부분이 상대적으로 취약하다.
 권용만 기자 yongman.kwon@chosunbiz.com
 </section> 
 </div> 
 Copyright © IT조선. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기