【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]'국가대표 AI' 기존 모델 5종, 수능 수학·수리논술 풀이서 해외와 격차

온카뱅크관리자

2025-12-15 10:07:35

<div id="layerTranslateNotice" style="display:none;"></div> 서강대 김종락 교수팀, 국내외 AI 10개 모델 수학 성능 비교…"신버전 나오면 재평가" 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="fx25VKlwJs">
 <figure class="figure_frm origin_fig" contents-hash="448030782f23fb688b7e03566adf4c32261bb87cbe0185418a87ca9597de89dd" dmcf-pid="4e4F8VTsnm" dmcf-ptype="figure">
 <img alt="서강대 연구팀이 국내외 AI 10개 모델의 수학 문제 풀이 능력을 평가한 결과 국내 모델은 해외 모델과 큰 격차를 보였다. 게티이미지뱅크 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/15/dongascience/20251215100140093udon.jpg" data-org-width="680" dmcf-mid="9IgiOr4qdC" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/15/dongascience/20251215100140093udon.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 서강대 연구팀이 국내외 AI 10개 모델의 수학 문제 풀이 능력을 평가한 결과 국내 모델은 해외 모델과 큰 격차를 보였다. 게티이미지뱅크 제공
 </figcaption>
 </figure>
 정부가 추진하는 '국가대표 AI' 프로젝트 참여사들의 기존 공개 모델이 수학 문제 풀이에서 해외 모델과 큰 격차를 보였다.
 정부는 해외 모델 종속을 막기 위해 자국 데이터·인프라·인력으로 독자 개발하는 인공지능인 '소버린 AI(Sovereign AI)' 확보에 힘쓰고 있다. 지난 8월 네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원 등 5개 컨소시엄을 정예팀으로 선정했다. 2026년 내 글로벌 10위권 진입이 목표다.
 김종락 서강대 수학과 교수 연구팀(CICAGO Lab)은 지난 12일 '생성형 AI와 수학문제 해결 및 생성 워크숍'에서 국내 5개 모델과 해외 5개 모델의 수학 문제 해결 능력을 비교한 결과를 발표했다.
 연구팀은 대학수학능력시험(수능) 수학 공통과목, 확률과 통계, 미적분, 기하에서 고난도 문항 5개씩을 뽑아 20문제를 만들었다. 국내 10개 대학 논술 기출 10문제, 인도 대학입시 10문제, 일본 도쿄대공대 대학원 입시 수학 10문제를 더해 총 50문제를 구성했다.
 국내 모델은 업스테이지 '솔라 프로 2', LG AI연구원 '엑사원 4.0.1', 네이버 '하이퍼클로바-007', SK텔레콤 '에이닷 엑스 4.0(72B)', 엔씨소프트 경량 모델 '라마-바르코 8B 인스트럭트'를 활용했다.
 해외 모델은 오픈AI 'GPT-5.1', 구글 '제미나이 3 프로 프리뷰', 앤스로픽 '클로드 오퍼스 4.5', xAI '그록 4.1 패스트', 딥시크 '딥시크 V3.2'와 비교했다.
 해외 모델은 76~92% 정답률을 기록했다. 제미나이 3 프로가 46문제를 맞혀 92%로 1위를 차지했다. 클로드 오퍼스 4.5가 84%, 그록 4.1 패스트가 82%, GPT-5.1이 80%, 딥시크 V3.2가 76%를 기록했다. 일반적으로 성능이 가장 우수하다고 알려진 GPT-5.1은 4위에 그쳤다.
 국내 모델은 솔라 프로 2만 50문제 중 29문제를 맞혀 정답률 58%를 기록했다. 하이퍼클로바X-007은 13문제를 맞혀 26%, 엑사원 4.0.1과 에이닷 엑스 4.0은 각각 12문제를 맞혀 24% 정답률을 기록했다. 라마-바르코 8B 인스트럭트는 1문제만 맞혀 2%에 머물렀다.
 연구팀은 국내 모델이 단순 추론으로는 문제 대부분을 풀지 못해 파이썬을 도구로 활용하도록 설계했다고 밝혔다. 파이썬을 활용해도 해외 모델과 격차가 컸다.
 <figure class="figure_frm origin_fig" contents-hash="fd95d475751b2b9affe218d108d2358dccec7d348a32cd3115431b0f6bf569f4" dmcf-pid="H0HwXYLxia" dmcf-ptype="figure">
 <img alt="수능·논술 포함 50문제, 국내외 모델 정답률 비교,. 서강대 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/15/dongascience/20251215100141364xqid.png" data-org-width="328" dmcf-mid="2LmJswfzLI" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/15/dongascience/20251215100141364xqid.png" width="658">
 <figcaption class="txt_caption default_figure">
 수능·논술 포함 50문제, 국내외 모델 정답률 비교,. 서강대 제공
 </figcaption>
 </figure>
 연구팀은 50문제 평가에서 국내 3개 모델, 하이퍼클로바X-007, 엑사원 4.0.1, 에이닷 엑스 4.0의 성능 차이가 거의 없어 자체 개발 문제로 추가 평가를 진행했다. 대학교 수준부터 교수급 논문 연구 수준까지 난이도를 나눈 '엔트로피매스(EntropyMath)' 100문제 중 10문제를 선별했다. 올림피아드 출신 교수와 전공 분야 교수들이 문제를 검수했다.
 해외 모델은 정답률 82~90%를 기록했다. 국내 모델은 7.1~53.3%였다. 같은 문제를 3번까지 풀어 한 번이라도 맞히면 정답으로 인정하는 기준을 적용하자 그록 4.1 패스트가 100%를 달성했다. 나머지 해외 모델도 90%를 기록했다. 국내 모델은 솔라 프로 2가 70%,  엑사원 4.0.1이 60%, 하이퍼클로바X-007이 40%, 에이닷 엑스 4.0이 30%, 라마-바르코 8B 인스트럭트가 20%였다.
 <figure class="figure_frm origin_fig" contents-hash="8fd369537ab9d872a1123108c21c3e263749baac7caa6e26cdbb61545c598f60" dmcf-pid="5wa4Nou5eL" dmcf-ptype="figure">
 <img alt="자체 제작 데이터세트(엔트로피매스)에 대한 국내외 모델 정답률 비교. 서강대 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/15/dongascience/20251215100142595kwpz.png" data-org-width="638" dmcf-mid="Vf5s1XaeiO" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/15/dongascience/20251215100142595kwpz.png" width="658">
 <figcaption class="txt_caption default_figure">
 자체 제작 데이터세트(엔트로피매스)에 대한 국내외 모델 정답률 비교. 서강대 제공
 </figcaption>
 </figure>
 김종락 서강대 교수는 "주위에서 왜 수능 문제에 대한 국내 소버린 AI 모델 평가가 없는지 문의가 많아 팀원들과 테스트를 진행했다"며 "현재 공개된 모델 기준으로 해외 선도 모델과 격차가 있다"고 말했다.
 평가에 사용한 국내 5개 모델은 기존 공개 버전이다. 정부 지원을 받아 개발 중인 신규 모델은 아직 나오지 않았다. 연구팀은 새 버전이 공개되면 다시 테스트할 계획이다.
 김 교수는 "엔트로피매스 데이터세트를 기반으로 수학 리더보드를 개설했다"며 "국제적 수준으로 키우겠다"고 밝혔다. 이어 "문제 생성 알고리즘을 개선해 수학뿐 아니라 과학, 제조, 문화 분야 데이터세트를 만들겠다"고 덧붙였다.
 서강대 수리과학 및 데이터사이언스 연구소(IMDS)와 딥파운틴이 연구를 공동 지원했다. 상세 결과는 entropymath.com에서 볼 수 있다.
 [조가현 기자 gahyun@donga.com]
 </section> 
 </div> 
 Copyright © 동아사이언스. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기