【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스][신중론 이후③] 10년간 반복된 경고… 달라진 AI 위험과 대응

온카뱅크관리자

2026-09-26 06:07:25

<div id="layerTranslateNotice" style="display:none;"></div> ‘개발 중단’서 위험 측정·관리로 논점 이동 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="xQzQLFgRlJ">
 <div contents-hash="4413852b4b33a5989e0e9f33634aa9656360c9e39f503a01731beaaa9098e824" dmcf-pid="yQzQLFgRCd" dmcf-ptype="general">
 인공지능(AI) 개발 속도를 늦춰야 한다는 ‘AI 신중론’이 다시 고개를 들고 있다. 앞선 논쟁에서는 글로벌 석학들이 실존위험을 경고하는데 그쳤다면 이번에는 업계 한복판에 있는 글로벌 AI 기업 수장이 속도조절론을 꺼내들었다. 이같은 흐름 속에서 한국 AI 산업계에 주어진 과제는 분명하다. AI 신중론을 어떻게 해석하고 대응해야 할까. 이에 &lt;디지털데일리&gt;가 AI 신중론을 둘러싼 논쟁을 분석하고, 기술·산업·정책 대응책을 전문가와 업계 관계자 입을 통해서 분석해봤다.&lt;편집자&gt;
 </div>
 <figure class="figure_frm origin_fig" contents-hash="c8edf1990887834eb1f7e0be70872d58b780a9054a782dcaa0ff59beca4ed879" dmcf-pid="Wxqxo3aeTe" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/26/552796-pzfp7fF/20260926060023836fpet.jpg" data-org-width="640" dmcf-mid="Q5bRapjJCi" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/26/552796-pzfp7fF/20260926060023836fpet.jpg" width="658">
 </figure>
 [디지털데일리 구아현기자] 인공지능(AI) 개발 속도를 늦춰야 한다는 ‘속도조절론’이 다시 고개를 든 가운데 과거와는 논쟁의 양상이 달라졌다. 과거에는 초지능과 인류 멸종 같은 장기적 위험을 경고하며 개발 중단을 요구하는 데 무게가 실렸지만 최근에는 실제 모델의 예상 밖 행동과 사이버 악용 사례가 잇따르면서 위험을 어떻게 평가하고 어느 수준에서 개발·배포를 제한할지가 핵심 쟁점으로 떠올랐다.
 2010년대 중반부터 이어진 AI 위험론은 2023년 GPT-4 공개를 계기로 ‘개발 중단’ 요구까지 번졌다. 그러나 실제 개발 경쟁은 멈추지 않았다. 이후 논의는 개발 중단보다 위험을 측정·검증하는 방향으로 옮겨갔고 국제 공동평가와 외부 검증, 위험 임계값, 사고보고 체계가 잇따라 마련됐다. 미중 기술패권과 시장 선점 경쟁이 거세진 지금도 프런티어 기업들이 실제 개발 속도를 늦출 가능성은 크지 않다는 분석이다. 
 ◆ 2017년에도 ‘자기개선 AI’ 경고… 2023년엔 “6개월 멈추자”
 AI 안전을 둘러싼 경고는 생성형 AI 등장 전부터 있었다. 미래생명연구소(FLI)는 2015년 공개서한을 내고 AI 성능 향상과 함께 안전 연구를 강화해야 한다고 촉구했다.
 2017년 발표된 ‘아실로마 AI 원칙’에서는 우려가 한층 구체화됐다. AI 개발사들이 경쟁 과정에서 안전기준을 낮추지 않도록 협력해야 한다고 했고, 인간이 AI에 어느 수준까지 의사결정을 맡길지도 통제해야 할 문제로 제시했다. 스스로 성능을 높이거나 복제하는 ‘재귀적 자기개선’ AI에는 엄격한 안전조치가 필요하다는 원칙도 담겼다. 지금 제기되는 개발 경쟁과 자기개선 AI에 대한 경고가 이미 당시부터 등장한 것이다.
 속도조절론이 가장 직접적인 형태로 나온 것은 2023년이다. FLI는 그해 3월 GPT-4보다 강력한 AI 시스템의 훈련을 최소 6개월간 중단하자는 공개서한을 발표했다. 모든 AI 연구를 멈추자는 것이 아니라 GPT-4를 넘어서는 최첨단 모델 훈련을 일시 중단하고 그 기간 안전기준을 마련하자는 요구였다.
 두 달 뒤에는 경고 수위가 더 높아졌다. AI안전센터(CAIS)는 AI로 인한 인류 멸종 위험을 팬데믹이나 핵전쟁과 같은 글로벌 위험으로 다뤄야 한다는 성명을 냈다. 제프리 힌턴·요슈아 벤지오 등 석학뿐 아니라 샘 올트먼 오픈AI 최고경영자(CEO), 다리오 아모데이 앤트로픽 CEO, 데미스 허사비스 구글 딥마인드 CEO도 이름을 올렸다.
 하지만 ‘6개월 공동 중단’은 현실화하지 않았다. 프런티어 AI 기업들은 이후에도 차세대 모델 개발과 출시 경쟁을 이어갔다.
 ◆ 영국서 열린 ‘블레츨리 선언’이 전환점… 서울·파리 거치며 안전 기준 구체화
 개발은 멈추지 않았지만 안전 논의는 제도권으로 들어왔다. 2023년 11월 영국에서 열린 첫 AI 안전 정상회의에서 미국·중국·한국·유럽연합(EU) 등은 ‘블레츨리 선언’을 채택했다. 프런티어 AI 위험을 국제 의제로 올리고 모델 평가와 안전 테스트를 함께 논의하기 시작했다.
 2024년 서울 AI 정상회의에서는 한국·미국·영국·일본 등 10개국과 EU는 AI 안전연구소 등 정부 지원기관을 잇는 국제 협력망을 만들기로 했다. 모델의 능력과 위험 정보를 공유하고 평가 데이터와 테스트 방법을 공동으로 발전시키는 것이 골자다. 오픈AI·앤트로픽·구글·메타·네이버·삼성전자 등 16개 기업도 심각한 위험을 판단할 임계값을 두고 위험을 충분히 줄이지 못하면 모델을 개발하거나 배포하지 않는 절차를 마련하기로 했다. 이튿날 열린 장관급 회의에서는 27개국과 EU가 프런티어 AI의 심각한 위험 수준과 안전평가 기준을 공동으로 마련하기로 했다.
 2025년 2월 프랑스 파리에서 열린 ‘AI 행동 정상회의’에서 분위기가 바뀌었다. 미국과 영국은 안전하고 신뢰할 수 있는 AI 등을 담은 최종 공동선언에 서명하지 않았다. 당시 JD 밴스 미국 부통령은 과도한 규제가 AI 산업 성장을 가로막을 수 있다며 혁신과 경쟁력에 무게를 뒀다. 국제 AI 거버넌스를 둘러싼 온도차가 드러났다.
 AI 안전연구소 협력망은 최근 다시 주목받고 있다. 오픈AI는 지난 21일 한국을 포함한 각국의 AI 안전 관련 기관 네트워크를 활용해 프런티어 AI의 공통 기술표준을 만들자고 제안했다. 사고 분류·보고 기준을 맞추고 각국 정부와 핵심 인프라 운영자가 새로운 취약점과 위협 정보를 공유할 안전한 소통 채널을 구축하자는 내용도 담았다.
 ◆ AI가 직접 해킹?… 인간 통제 벗어난 행동에 브레이크 주장
 최근 속도조절론에 다시 불을 붙인 것은 AI가 실제 시스템에서 예상 밖 행동을 보인 사례가 잇따라 확인됐기 때문이다. 오픈AI는 지난 7월 내부 사이버보안 평가 과정에서 자사 모델들이 인터넷 격리 장치를 우회해 내부 연구 인프라와 허깅페이스 시스템 일부를 침해한 사실을 공개했다. 모델들은 허가되지 않은 통신 채널을 이용하고 공유 인프라의 취약점을 악용해 외부 시스템까지 접근했다.
 이후 다른 사례도 잇따라 드러났다. 지난 5~7월에는 오픈AI 에이전트들이 독일 개발자 위키 ‘DseWiki’에 1만5000건 넘는 글을 남기며 평가 제한을 피하는 방법 등을 공유한 사실이 뒤늦게 알려졌다. 오픈AI는 지난 16일 별도의 보고체계를 만들고 모델이 실수를 숨기거나 승인되지 않은 접근권한을 찾고, 외부 웹사이트를 이용해 정보를 주고받은 사례 등 예상 밖 행동 6건을 추가 공개했다.
 AI가 사이버 공격 도구로 활용되는 사례도 나왔다. 보안 스타트업 해크트론AI 연구진은 앤트로픽의 ‘클로드 오푸스 5’를 이용해 오픈AI 커뮤니티 포럼의 취약점을 찾아낸 뒤 직원 계정과 내부 코드 저장소까지 접근하는 데 성공했다. 버그바운티를 위한 보안 연구였지만, 최신 AI가 실제 취약점 탐색부터 공격 코드 작성까지 활용될 수 있음을 보여준 사례다.
 석학들의 경고도 다시 거세졌다. 2018년 튜링상을 공동 수상해 ‘AI 3대 석학’으로 불리는 요슈아 벤지오와 제프리 힌턴은 최근 AI 통제 문제를 잇따라 경고했다. 벤지오는 AI 위험을 핵무기와 비슷한 수준의 국제 관리가 필요한 문제로 봤고, 힌턴도 AI 에이전트에서 과거 공상과학으로 여겼던 예상 밖 행동이 실제로 나타나고 있다는 취지로 우려를 나타냈다. 반면 함께 튜링상을 받은 얀 르쿤은 AI가 인류 멸종으로 이어질 수 있다는 실존위험론에 비판적인 입장을 이어가고 있다.
 아모데이를 비롯한 프런티어 AI 기업 수장들도 위험 관리 필요성을 공개적으로 제기하고 있다. 아모데이 앤트로픽 CEO는 프런티어 모델의 능력 향상 속도를 안전 연구와 평가가 따라잡을 수 있도록 개발 속도를 조절해야 한다고 주장했다. 샘 올트먼 오픈AI CEO도 독립적인 외부 평가와 모델에 대한 높은 수준의 접근권한을 보장해야 한다는 데 힘을 실었다. 과거 학계와 시민단체 중심으로 제기됐던 AI 위험론이 이제는 최첨단 모델을 직접 개발하는 기업 내부에서도 나오고 있는 셈이다.
 다만 2023년과 지금의 속도조절론은 출발점이 같아도 배경은 다르다. 당시에는 챗GPT 3.5에서 GPT-4로 모델 성능이 급격히 뛰면서 앞으로 AI가 어디까지 발전할지 가늠하기 어렵다는 불안이 컸다. 이에 GPT-4보다 강한 모델의 훈련을 일정 기간 함께 멈추자는 요구가 전면에 나왔다.
 현재도 모델 성능은 빠르게 높아지고 있지만 개발 방식에 대한 이해는 한층 쌓였다. 모델 크기와 학습 데이터, 연산량을 늘릴수록 성능이 어떻게 변하는지를 설명하는 ‘스케일링 법칙’이 정교해졌고, 학습 이후 추가 훈련과 추론 과정에서 연산량을 늘리는 방식까지 성능 개선 수단이 다양해졌다. 동시에 최상위 모델 간 성능 격차는 좁아지면서 특정 기업이 압도적인 우위를 유지하기는 이전보다 어려워지고 있다.
 이에 최근 논쟁은 모든 AI 개발을 일괄 중단할지를 묻기보다 어떤 능력부터 위험하다고 볼 것인지, 누가 이를 평가할 것인지, 실제 사고가 발생하면 어떻게 공개하고 대응할 것인지에 무게가 실린다. 과거가 ‘미래의 초지능을 멈출 것인가’를 둘러싼 논쟁이었다면 지금은 이미 고도화된 AI를 어디까지 허용하고 어떤 안전장치를 둘 것인지가 쟁점으로 떠오른 것이다.
 이경전 경희대 교수는 “2023년 GPT-4로 넘어가면서 AI 발전이 상당히 빠르다는 인식이 커 개발을 멈추자는 요구가 있었지만 실제로 중단한 기업은 없었다”며 “이번에도 글로벌 AI 기업들이 속도조절을 이야기하지만 모델 개발과 시장 경쟁은 계속될 것”이라고 분석했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기