실시간 대화 분석 플랫폼 앞세워 앤트로픽·인도 시장 협력…기업 리스크 관리 지원

(지디넷코리아=조이환 기자)"진정으로 안전한 인공지능(AI)은 비즈니스 연속성과 성장을 가능하게 할 때 완성됩니다. 우리의 '얼라인(Align)'은 AI가 주고받는 모든 대화를 기업에게 실시간으로 시각화해 잠재 리스크를 즉시 찾아냅니다. 앤트로픽 등 글로벌 프론티어 AI랩과 협력하며 향후 인도를 포함한 글로벌 시장에 AI 안전과 신뢰의 새로운 기준을 제시하겠습니다."

이엽 콕스웨이브 이사는 최근 기자와의 인터뷰에서 AI 안전이 단순한 '차단 수단'이 아니라 기업의 운영과 성장을 뒷받침하는 기능적 '인프라'여야 한다는 점을 강조하며 이같이 말했다. 생성형 AI가 실제 환경에서 어떻게 사용되고 어떤 리스크를 발생시키는지를 기업이 '메타인지' 하도록 도와야 진정 의미 있는 분석이 가능하다는 설명이다.

12일 업계에 따르면 생성형 AI의 상용화가 빠르게 확산되면서 기업들은 단순 필터링을 넘어 실시간 리스크 대응이 가능한 분석 체계에 주목하고 있다. 이러한 흐름 속에서 콕스웨이브는 지난 2021년 설립돼 B2C 생성형 AI 서비스 운영 경험을 기반으로 AI 대화 흐름 전반을 분석하는 플랫폼 '얼라인'을 개발해왔다. 이 플랫폼은 고객 불만·리스크·서비스 유지율 등 실제 비즈니스 지표들을 포괄해 AI 안전성을 해석하는 것을 목표로 한다.

김주원 콕스웨이브 공동대표(왼쪽)와 이엽 콕스웨이브 이사(오른쪽)가 생성형 AI 분석 플랫폼 '얼라인'의 기술과 글로벌 전략에 대해 설명하고 있다. (사진=콕스웨이브)

AI 안전, 윤리를 넘어 인프라로…'얼라인'의 실전형 해법은?

콕스웨이브는 '챗GPT'가 등장하기 전부터 생성형 AI 기반 서비스를 운영해왔다. 이 과정에서 이들은 사용자 프롬프트가 근본적으로 예측 불가능하고 이에 AI가 어떤 응답을 내놓을지도 알 수 없다는 구조적 불확실성에 부딪혔다. 사전에 정해놓은 입력 방식 대신 사용자의 자유로운 문장 입력에 AI가 응답하는 구조여서 서비스 품질을 기획 단계에서 통제하는 것이 구조적으로 불가능하단 점을 일찍이 포착한 것이다.

지난 2021년부터 회사가 운영한 이미지 생성·편집 서비스 '하마'와 '엔터픽스'는 이러한 구조적 불확실성이 현실에서 어떻게 작동하는지를 보여주는 사례였다. 사용자들은 서비스를 쓰며 반복적으로 부적절한 이미지 생성을 시도했고 단순한 금칙어 필터링만으로는 이를 효과적으로 걸러내기 어려웠다.

겉보기에는 문제 없어 보이지만 간접적인 맥락을 담은 프롬프트가 입력되면 AI는 이를 자연스럽게 해석해 예상치 못한 결과물을 출력하곤 했다. 이러한 '탈옥(Jailbreaking)' 방식의 우회는 시스템이 콘텐츠의 부적절성을 인식조차 하지 못하게 만들었다. 이 경험을 통해 콕스웨이브는 생성형 AI의 리스크는 단순 차단만으로는 해결되지 않는다는 점을 인식하게 됐다.

김주원 콕스웨이브 대표는 "기존 필터 체계로는 생성형 AI가 문맥을 파악하지 못해 부적절 콘텐츠를 걸러내는 데 한계가 있었다"며 "서비스 안정성과 브랜드 신뢰도 모두에 위협이 되는 상황이었다"고 설명했다.

기존의 사용자 분석 툴 역시 한계를 드러냈다. 콕스웨이브는 초창기에는 구글 애널리틱스, 앰플리튜드 등 전통적 행동 분석 도구를 활용했지만 생성형 AI 특유의 문맥 의존성과 응답 다양성 탓에 클릭 수나 체류 시간 같은 정량 지표로는 문제가 발생한 지점을 포착할 수 없었다.

이런 문제의식에서 개발된 것이 AI 제품 분석 플랫폼 '얼라인(Align)'이다. '얼라인'은 사용자의 프롬프트와 AI의 응답을 실시간으로 추적하고 시각화해 기업이 원치 않는 콘텐츠나 이상 응답을 즉시 탐지하고 차단할 수 있도록 돕는다. 회사는 이를 통해 서비스의 안정성과 대응력을 동시에 확보하고자 했다.

(사진=콕스웨이브)

이엽 콕스웨이브 이사는 "'얼라인'은 단순한 금칙어 필터링이 아니라 기업의 비즈니스 연속성과 브랜딩까지 고려한 종합적 안전성 분석 도구"라며 "초창기에는 사용자 신뢰 손상이나 프롬프트 공격 방어에 집중했다면 최근에는 서비스 성장을 뒷받침하는 메커니즘으로 범위를 확장하고 있다"고 설명했다.

콕스웨이브는 회사가 추구하는 '안전한 AI'를 단순히 유해 콘텐츠를 차단하는 기술로 보지 않는다. 대신 기업이 생성형 AI 서비스를 안정적으로 운영하고 고객 신뢰를 잃지 않으며 장기적으로 비즈니스를 성장시킬 수 있도록 지원하는 분석 인프라로 정의한다.

AI가 특정 프롬프트에 대해 부적절한 답변을 반복해 제공하거나 사용자가 원하는 응답을 지속적으로 얻지 못해 이탈하면 이는 단순한 윤리 문제를 넘어 서비스 품질 저하로 직결된다. 이같은 반복적 리스크를 실시간으로 탐지하고 기업이 이를 사전에 인지해 조치할 수 있게 함으로써 서비스 중단이나 브랜드 훼손 같은 문제를 예방한다는 설명이다.

또 '얼라인'은 각 고객사의 문화적 배경이나 내부 정책에 따라 '금지'와 '허용'의 기준이 달라질 수 있다는 점을 반영해 이를 유연하게 설정할 수 있는 기능을 제공한다. 일괄적으로 하나의 기준에 따라 판단하는 것이 아니라 각 조직의 판단 기준에 따른 맞춤형 분석이 가능하도록 설계된 것이다. 이같이 주관적인 평가 기준이 실시간으로 분석에 적용되면 서비스 운영자는 보다 정밀하게 리스크를 파악하고 대응할 수 있다.

더불어 수용 여부가 모호한 '회색 지대(Grey area)'에 대응하는 기능에 집중했다. 자연어 기반 검색 기능을 활용할 경우 실무자는 "불만족 사례를 찾아줘"처럼 일상적인 문장으로 검색을 요청할 수 있다. '얼라인'은 유관 대화 내용을 자동으로 찾아낸 뒤 기본 분석 결과와 함께 그에 대한 판단 근거도 함께 제시한다. 검색 알고리즘과 대시보드에 피드백이 자동 반영되기 때문에 단순 확인을 넘어 기준 조정까지 이어지는 판단을 즉각 내릴 수 있게 된다.

이엽 이사는 "단순 필터링을 넘어서 서비스 현장에서 AI가 어디서 오작동하고 있는지를 실무자가 스스로 자각하고 판단 기준을 재정의할 수 있도록 돕는 것이 '얼라인'의 핵심"이라며 "AI 안전은 기술적 차단이 아니라 실시간 대응과 기준의 내재화를 가능하게 하는 시스템이어야 한다"고 말했다.

인도서 시험대 오른다…앤트로픽 협업으로 글로벌 'AI 안전' 실험

콕스웨이브가 지속적으로 가져온 'AI 안전성'에 대한 관심은 자연스럽게 앤트로픽과의 전략적 연대로 이어졌다. '헌법적 AI(Constitutional AI)'와 '사용자 중심 얼라인먼트'를 내세워 창업한 앤트로픽의 철학이 회사 신조와 직접적으로 맞닿아 있었기 때문이다.

실제 협업의 전환점은 지난해 앤트로픽이 콕스웨이브에 응용프로그램 인터페이스(API) 사용을 먼저 제안하면서 찾아왔다. 이어진 실무 대화 과정에서 앤트로픽이 일본과 호주를 중심으로 아시아 시장 진출 계획을 밝히자 콕스웨이브는 이를 기회로 보고 아시아 내 전략적 파트너로서의 협업 가능성을 적극적으로 제시했다.

플랫폼 철학부터 시장 진출 방식까지 접점을 넓히는 데 무게가 실리면서 논의는 신속히 구체화됐다. 초창기에 앤트로픽은 일본이나 호주를 아태지역의 첫 출장지로 고려하고 있었지만 콕스웨이브 측 설득에 따라 한국 방문을 먼저 결정했다. 이 결과 양사는 지난 3월 국내에서 공동 행사를 성사시켰고 이후 앤트로픽은 한국의 생성형 AI B2C 생태계의 다양성에 주목하며 지사 설립 의향까지 밝힌 상태다.

이 이사는 "우리가 공감한 핵심 가치는 단순 기술이 아니라 '신뢰 가능한 AI'라는 철학이었다"며 "엔트로픽이 헌법적 AI와 정렬(Alignment) 연구에 집중하는 것처럼 우리 역시 생태계 정비와 주관적 피드백 분석에 무게를 둬왔다"고 말했다.

지난 3월 서울 잠실 시그니엘에서 열린 '코리아 빌더서밋' 현장에서 이엽 콕스웨이브 이사(왼쪽)와 마이크 크리거 앤트로픽 CPO(오른쪽)가 연결형 AI의 미래에 대해 대담을 나누고 있다. (사진=콕스웨이브)

콕스웨이브는 '사용자·기업·사회가 함께 정렬되는 AI'라는 개념의 실현 가능성을 검증할 첫 무대로 인도 시장을 선택했다. 현지에서 글로벌 역량을 갖춘 기업들과 파트너십을 맺고 제품 도입과 실사용자 피드백 수집을 병행하며 본격적인 확장 전략에 착수했다.

인도를 주목한 이유는 명확했다. 빠른 생성형 AI 도입 속도와 함께 글로벌 기업들이 방갈로르·뭄바이 등에 지사를 설립하며 인도 시장을 'AI 엔지니어링 허브'로 재편하고 있었기 때문이다. 대규모 사용자 데이터를 확보하고 빠르게 분석·적용할 수 있는 여건이 충분히 갖춰진 셈이다.

김 대표는 "초창기에는 경쟁자가 많지 않았지만 지금은 노트테이킹 툴 하나만 해도 수십 개가 나와 있다"며 "이럴수록 고객의 주관적 평가를 얼마나 분석에 빠르게 녹여내느냐가 곧 제품 경쟁력"이라고 설명했다.

실제 성과도 있었다. 콕스웨이브는 인도 데이터 플랫폼 기업 레난(Renan)과의 업무협약(MOU)를 통해 B2B 생성형 AI 수요가 높은 소규모 엔터프라이즈 세그먼트를 확보했고 대형 고객은 기존 협업 관계를 맺고 있던 PwC 인도 지사와의 공동 사업을 통해 대응하고 있다.

콕스웨이브는 지난달 인도 AI 기술 기업 레난과 'AI 솔루션 공동 개발을 위한 업무협약(MOU)'을 맺었다. (사진=콕스웨이브)

양사의 역할 구분은 명확하다. PwC가 대기업 고객과의 접점을, 레난이 중소 엔터프라이즈를 커버하는 구조다. 콕스웨이브는 이 두 축을 중심으로 '얼라인'을 적용해 서비스 품질을 측정하고 현지 피드백을 다시 플랫폼 개선에 반영하는 선순환 구조를 구축하고 있다.

이외에도 구글 초기 창업 지원 프로그램 출신 금융 솔루션 기업 펀더멘토와의 협업도 주목할 만하다. 콕스웨이브는 구글·아마존웹서비스(AWS)·마이크로소프트(KS) 등 글로벌 하이퍼스케일러들과의 협업 경험을 살려 펀더멘토에 안정적인 API 오케스트레이션 기능을 제공하고 있다.

이 이사는 "인도 시장은 개선 주기가 압축된 고도의 경쟁 환경"이라며 "'얼라인'처럼 피드백 루프를 자동화해주는 플랫폼은 빠르게 기능을 실험하고 개선해야 하는 현지 기업들에 특히 매력적으로 작용할 것"이라고 설명했다.

기술과 사람의 축적…'얼라인' 만든 콕스웨이브의 내부 동력은?

이같은 '얼라인'의 기술적 기반은 콕스웨이브가 내부적으로 축적해온 설계 역량과 오픈소스 생태계 참여를 통해 다져졌다. 특히 김주원 대표는 MS의 생성형 AI 오픈소스 프로젝트 '시맨틱 커널(Semantic Kernel)'에 외부 기여자로 참여해 에이전트 구조 설계와 관련된 코드를 다수 제출한 바 있다.

김 대표는 "'시맨틱 커널'은 단순 템플릿이 아니라 고도화된 에이전트를 구성할 수 있는 기반 구조"라며 "이 프레임워크에 참여해 에이전트 설계와 운영 관련 코드를 직접 기여했던 경험이 이후 '얼라인'이 사용자 프롬프트와 AI 응답 간 상호작용을 정밀하게 추적하고 분석하는 기능으로 이어졌다"고 설명했다.

AI 안전성의 현실적 중요성을 체감하게 했던 B2C 이미지 생성 서비스 경험 역시 얼라인의 실전 적용 가능성을 뒷받침하는 기반이 됐다. 콕스웨이브가 운영한 '하마'와 '엔터픽스'는 성공적인 상업적 성과를 보였음과 동시에 생성형 AI의 불확실성을 직면하게 한 사례였다. 이 과정에서 수집된 사용자 프롬프트와 AI 응답 간 상호작용 데이터는 실시간 분석 도구의 필요성을 명확히 드러냈다.

김 대표는 "사용자 데이터를 직접 다뤄보며 기술적 통제의 한계와 서비스 운영의 복잡성을 동시에 겪었다"며 "이런 경험이 없었다면 얼라인 같은 플랫폼을 만드는 건 불가능했을 것"이라고 말했다.

'얼라인'의 기술적 기반은 콕스웨이브가 내부적으로 축적해온 설계 역량과 오픈소스 생태계 참여를 통해 다져졌다. (사진=콕스웨이브)

김 대표의 이력도 기술적 무게감을 더한다. 그는 서울대 컴퓨터공학 석사 과정에서 데이터마이닝 연구실에 소속돼 AI 분석 기법을 집중적으로 연구했다. 이 시기 '얼라인'의 대시보드 설계 구상이 처음 시작됐고 이후 학계와 산업계를 연결하는 구조적 아키텍처로 이어졌다는 설명이다.

이엽 이사는 보다 정책적 접근에서 기술로 방향을 전환한 사례다. 그는 원래 조지타운 대학교에서 개발경제학을 전공하며 세계은행이나 IMF 등 국제기구 진출을 목표로 했지만 정책은 속도가 느리고 제약이 많아 즉각적인 사회적 임팩트를 만들기 어렵다는 한계를 체감한 뒤 기술을 통한 변화로 전향한 바 있다.

두 사람은 생성 AI 스타트업 협회(GAISA) 창립 이사로도 활동하고 있다. 협회는 생성형 AI 기업 간의 윤리 기준 수립, 안전성 가이드라인 정비, 대기업·정부·학계와의 협력 채널 구축을 지원하는 민간 네트워크로, 콕스웨이브는 초기부터 생태계 조성에 주도적으로 참여해왔다.

향후에도 콕스웨이브는 '안전한 AI'라는 정체성을 기반으로 국내는 물론 인도, 그리고 글로벌 AI 기업들과의 협업을 확대해나간다는 전략이다. 기술과 사람이라는 두 축을 바탕으로 서비스 신뢰성과 비즈니스 성장을 동시에 실현하겠다는 의지를 분명히 하고 있다.

이엽 이사는 "진정으로 '안전한 AI'란 단순한 차단이 아니라 사회와 사용자, 기업이 모두 납득할 수 있는 기준을 구축하고 유지하는 것"이라며 "우리는 기술뿐 아니라 그 기술이 작동하는 맥락까지 책임질 수 있는 파트너가 되겠다"고 강조했다.

조이환 기자(ianyhcho@zdnet.co.kr)

Copyright © 지디넷코리아. 무단전재 및 재배포 금지.