채명수 대표 인터뷰
AI 모델과 반도체 연결 지원
경량화로 서버 비용 80% 절감
이달 기술특례상장 청구 추진

인공지능(AI) 확산의 가장 큰 걸림돌 가운데 하나는 하드웨어의 제약이다. 대규모언어모델(LLM)과 같은 대형 AI 모델은 클라우드에서 연산을 수행하지만 이보다 사이즈가 작은 상당수 AI 모델은 디바이스 환경에서 구동된다. AI 모델 성능이 뛰어나도 실행 환경인 디바이스와 AI 반도체가 이를 뒷받침하지 못하면 무용지물이다.

2015년 설립된 AI 스타트업 노타(NOTA)는 AI 모델과 디바이스의 간극을 메우는 기업이다. 6일 서울 강남구에서 만난 채명수 노타 대표(사진)는 “우리는 어떤 AI 모델이 나오든, 어떤 AI 반도체가 나오든 그 둘을 가장 빠르게 이어주는 역할을 한다”고 강조했다. 이 회사는 한국경제신문과 KT가 공동으로 유망 AI 스타트업을 발굴하는 프로젝트 ‘코리아 프라미싱 AI 스타트업 2024(KPAS 2024)’에 선정됐다.

노타의 핵심 기술은 크게 두 가지다. AI 모델 경량화와 최적화다. 경량화는 고성능 AI 모델을 다양한 디바이스에서 구동하도록 크기를 줄이는 기술이다. 채 대표는 “예를 들어 32메가바이트(MB) 크기 AI 모델의 연산 성능을 유지한 채 8MB 이하로 줄이면 CCTV, 스마트 도어락처럼 메모리 제약이 큰 기기에서 실시간 얼굴 인식용으로 쓸 수 있다”며 “연산 방식 변경과 불필요한 파라미터 정리 등을 통해 성능을 유지하는 것이 기술의 핵심”이라고 설명했다.

최적화는 또 다른 영역이다. AI 연산을 위한 신경망처리장치(NPU)가 빠르게 발전하고 있지만 AI 모델의 발전 속도는 더 빠르다. 채 대표는 “칩은 설계부터 생산까지 1~2년이 걸리지만 AI 모델은 매달 새로운 버전이 나오다 보니 칩이 모델을 지원하지 못하는 사태가 발생한다”며 “이를 소프트웨어적으로 해석하고, 각 칩에서 가장 빠르고 효율적으로 연산할 수 있도록 모델 구조를 바꾸는 게 최적화”라고 말했다. 노타는 엔비디아, 퀄컴, Arm 기반 NPU 등 30여 개 칩셋을 지원하고 있다. 글로벌 반도체 기업과 협업해 소프트웨어개발키트(SDK) 형태로 자사 플랫폼 ‘넷츠프레소’를 제공 중이다.

경량화와 최적화 효과는 크다. 채 대표는 “한 공공기관이 클라우드 기반 CCTV 수천 대를 실시간 모니터링하며 매달 서버 비용을 2200달러씩 냈는데 모델 경량화와 최적화를 거친 뒤 비용이 380달러로 80% 가까이 줄었다”고 했다.

노타는 고객 맞춤형 솔루션도 제공한다. 디바이스 제조사 요청에 따라 모델 개발, 경량화, 최적화를 패키지 형태로 제공하는 솔루션 사업부를 운영 중이다. 최근에는 산업 안전용 비전 AI 모델 솔루션 ‘노타 비전 에이전트’를 출시해 공장과 건설 현장에 공급하고 있다. 최근 아랍에미리트(UAE) 두바이 교통국과 지능형 교통체계(ITS) 솔루션 공급 계약을 맺었다.

노타는 이달 기술특례상장을 위한 예비심사를 청구할 계획이다. 올해 매출 목표는 약 140억원이다.

이승우 기자 leeswoo@hankyung.com

Copyright © 한국경제. 무단전재 및 재배포 금지.