[CIS2025] AI 도입 이슈 해결 방안 제시…기업 vLLM 활용 소개도

(지디넷코리아=김미정 기자)"기업의 생성형 인공지능(AI) 도입을 여전히 가로막는 장애물은 고비용과 복잡성, 유연성 부족입니다. 이를 해결하려면 누구나 쉽게 모델을 최적화할 수 있는 오픈 플랫폼이 필요합니다. 비용 절감을 위한 경량화 기술, 멀티 클라우드 환경을 아우르는 유연한 배포 체계도 필수입니다."

한국레드햇 유혁 테크세일즈팀 상무는 5일 지디넷코리아가 그랜드 인터컨티넨탈 서울 파르나스 그랜드볼룸에서 개최한 '컨버전스 인사이트 서밋(CIS) 2025'에서 'AI의 대중화를 넘어, 비용효율적 AI로'를 주제로 이같이 밝혔다.

유 상무는 "복잡한 튜닝 프로세스와 높은 추론 비용, 인프라 유연성 부족이 기업의 AI 확산을 가로막고 있다"며 "특히 비전문가가 기업 데이터로 AI 모델을 맞춤화하는 데 겪는 어려움이 크다"고 진단했다.

레드햇 유혁 테크세일즈 상무.

유 상무는 AI 도입 비용 절감 전략으로 뉴럴매직을 통한 가상거대언어모델(vLLM) 기반 추론 최적화를 제시했다. 

그는 "메타의 라마 같은 모델을 FP16이나 FP8 같은 간소한 형식으로 압축하면, 메모리 사용량과 응답 시간을 줄이면서도 정확도를 유지할 수 있다"고 설명했다. 그러면서 "실제 AI 챗봇·상품 리뷰 요약 서비스 사례에서 vLLM을 통해 약 40%의 비용 절감 효과를 거뒀다"고 덧붙였다.

레드햇은 이에 대한 해법으로 복잡성 대응 전략을 내세웠다. 핵심은 '그래닛(Granite)' 모델과 '인스트럭트랩(InstructLab)' 툴이다. 그래닛은 특정 도메인에 최적화된 오픈소스 고성능 모델이다. 기업이 프라이빗 데이터를 기반으로 신뢰성 있게 활용할 수 있도록 설계됐다.

인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다.

인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다. 챗봇 성능 향상을 위한 대규모 정렬(LAB) 방식인 '교사–비평자–학생' 구조로 이뤄진 자동 튜닝의 데이터 생성과 자동 튜닝으로 모델을 훈련한다. 

이는 '오픈시프트 AI'와 '레드햇 엔터프라이즈 리눅스(RHEL) AI'와 연계돼 단일 서버부터 클러스터 환경까지 이용 가능하다.

레드햇은 유연성 확보를 위한 방안으로 '레드햇 오픈시프트 AI(RHOAI)' 기반 하이브리드 전략을 설명했다. 해당 플랫폼은 프라이빗 클라우드와 퍼블릭 클라우드, 엣지 등 다양한 환경에 맞게 AI 앱과 모델을 배포할 수 있게 돕는다. 이 플랫폼은 데이터 현지화와 규제 대응, 저지연 추론 처리 등도 지원한다. 또 ML옵스 기반 자동화된 모델 생애주기 관리, 재학습, 편향 탐지까지 가능하다는 설명이다.

유 상무는 "AI 도입은 단순히 모델 하나를 도입하는 것이 아니라, 학습·추론·앱 통합까지 전체 라이프사이클을 관리할 수 있어야 진정한 효과를 볼 수 있다"며 "우리는 오픈소스 기반 전략을 통해 이를 효율적으로 실현할 수 있다"고 말했다.

김미정 기자(notyetkim@zdnet.co.kr)

Copyright © 지디넷코리아. 무단전재 및 재배포 금지.