【오즈커뮤-OZcommunity】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 스포츠뉴스 : 안구정화 놀이터홍보 놀이터후기공유 피해사례공유

로그인

글쓰기

[IT뉴스]오픈AI, 챗GPT ‘환각’ 이유 밝힌다…역설계로 오작동 원인 추적

온카뱅크관리자

2024-06-07 10:45:06

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">GPT-4 내부 패턴 식별 기술 개발<br>AI 모델 안전성 향상 코드 배포<br>일리야 수츠케버, 슈퍼얼라인먼트 팀 주도</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="qOiAmbJqJB">
          <figure class="figure_frm origin_fig" dmcf-pid="BP0b8h3Idq" dmcf-ptype="figure">
           <p class="link_figure"><img alt="오픈AI가 각종 소송전과 규제당국 조사에 대응하기 위해 사내 변호사를 적극 늘리고 있다. &lt;사진=AFP&gt;" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202406/07/mk/20240607104507692xfsc.jpg" data-org-width="700" dmcf-mid="zHNrl4aVRb" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202406/07/mk/20240607104507692xfsc.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            오픈AI가 각종 소송전과 규제당국 조사에 대응하기 위해 사내 변호사를 적극 늘리고 있다. &lt;사진=AFP&gt;
           </figcaption>
          </figure>
          <div dmcf-pid="b1sTZJmeiz" dmcf-ptype="general">
           오픈AI는 AI 모델의 해석 가능성을 높이기 위한 연구 논문을 발표했다고 7일 밝혔다.
          </div>
          <p dmcf-pid="Kdq4RWzTn7" dmcf-ptype="general">이번 연구는 챗GPT 모델의 내부 구조를 역설계하는 방법을 토대로, AI 시스템의 오작동을 유발할 수 있는 이유를 파악하고자 시행됐다. 특히 연구진은 챗GPT를 구동하는 AI 모델 내부를 들여다볼 수 있는 방법을 고안해, 특정 개념이 어떻게 저장되는지를 식별하는 방식을 연구했다.</p>
          <p dmcf-pid="9f172s5reu" dmcf-ptype="general">챗GPT는 인공 신경망을 기반으로 하는 대형 언어 모델인 GPT가 근간이다. 이러한 신경망은 예제 데이터를 분석해 유용한 작업을 학습할 수 있는 능력을 보여주지만, 전통적인 컴퓨터 프로그램처럼 쉽게 분석할 수 없다는 단점이 있다. 인공 신경망 내 ‘뉴런’ 층 사이의 복잡한 상호 작용은 챗GPT와 같은 시스템이 특정 응답을 도출한 이유를 역설계하는 것을 매우 어렵게 만든다는 평가다.</p>
          <p dmcf-pid="2f172s5rMU" dmcf-ptype="general">오픈AI는 논문을 통해 추가적인 기계 학습 모델의 도움을 받아 기계 학습 시스템 내부의 특정 개념을 나타내는 패턴을 식별하는 기술을 시연했다. 해당 기술은 관심 시스템 내부를 들여다보는 데 사용되는 네트워크를 보다 효율적으로 만드는 것이 주요 특징이다. 오픈AI는 GPT-4 모델 내부의 개념을 나타내는 패턴을 식별해 접근 방식이 맞는다는 것을 입증했다. 오픈AI는 해석 가능성 연구와 관련된 코드를 공개했으며, 다양한 문장에서 단어가 개념을 활성화하는 방식을 시각화하는 도구도 공개했다. GPT-4 및 다른 모델에서 다양한 문장의 단어가 욕설과 에로틱한 콘텐츠를 포함한 개념을 어떻게 활성화하는지 확인하는 데 사용할 수 있다.</p>
          <p dmcf-pid="Vzy1uATNJp" dmcf-ptype="general">특정 개념을 나타내는 방식은 원하지 않는 행동과 관련된 개념을 줄여 AI 시스템을 제어하는 데 한 걸음 더 나아갈 수 있다. 또 AI 시스템이 특정 주제나 아이디어를 선호하도록 조정할 가능성도 제시했다. 데이비드 바우 노스이스턴 대학교 교수는 “새로운 오픈AI 연구는 흥미로운 진전”이라며 “우리는 이러한 대형 모델을 더 잘 이해하고 검토하는 방법을 배워야 한다”고 말했다.</p>
          <p dmcf-pid="fezfMy7ve0" dmcf-ptype="general">바우 교수는 오픈AI 팀의 주요 혁신이 작은 신경망을 구성해 더 큰 신경망의 구성 요소를 이해하는 더 효율적인 방법을 보여주는 것이라고 평가했다. 하지만 해당 기술이 더 신뢰할 수 있도록 정제될 필요가 있다고 덧붙였다.</p>
          <p dmcf-pid="4reaDzRuL3" dmcf-ptype="general">오픈AI는 논문에서 “해석 가능성이 모델의 안전성과 견고성에 대한 새로운 논리적 방법을 제공하고, 강력한 AI 모델의 행동에 대한 강력한 보장을 제공해 신뢰를 크게 향상할 수 있기를 바란다”고 밝혔다. 이번 연구가 중요한 까닭은 AI 위험 때문이다. 일부 유명 AI 연구자들은 챗GPT를 포함한 강력한 AI 모델이 화학적 또는 생물학적 무기를 설계하고 사이버 공격을 조율하는 데 사용될 수 있다고 우려하고 있다. 특히 이들의 우려는 AI 모델이 목표를 달성하기 위해 정보를 숨기거나 해로운 방식으로 행동할 수 있다는데 있다.</p>
          <p dmcf-pid="8Mu2QvUldF" dmcf-ptype="general">오픈AI는 최근 들어 일리야 수츠케버 공동창업자 등 AI 안전팀이 해체되면서, 불필요한 위험을 감수하고 있다는 비판을 받았다. 특히 연구는 오픈AI의 ‘슈퍼얼라인먼트(superalignment)’ 팀이 수행했다. 해당 팀은 기술의 장기적 위험을 연구하는데 전념했다. 공동 연구 책임자인 일리야 수츠케버(Ilya Sutskever)와 얀 레이크(Jan Leike)등이 공동 저자로 이름을 올렸다. 수츠케버는 오픈AI의 공동 창업자이자 전 수석 과학자로, 지난해 11월 최고경영책임자(CEO) 샘 올트먼의 해고를 주도한 이사회 멤버 중 한 명이다. 오픈AI가 이번 연구를 실시한 이유에 대해, 오픈AI가 AI 위험에 진지하게 대응하고 있다는 사실을 알리기 위한 것 아니냐는 분석이 나온다.</p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 매일경제 &amp; mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p>