【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]입모양으로 알아 듣는 AI…시각적 음성인식 정확도 높여

온카뱅크관리자

2026-11-15 13:17:26

<div id="layerTranslateNotice" style="display:none;"></div> KAIST, 모호한 입모양 앞뒤 문맥으로 해독하는 AI 기술 AI 순차적 단어생성, 유연하게 조절...단어 오류율 19% 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="QJnEZEJ6WP">
 <figure class="figure_frm origin_fig" contents-hash="c67310db00e4701be4742605f14eb6a343a3209f2040cb33152bbbfbb7699a70" dmcf-pid="xiLD5DiPC6" dmcf-ptype="figure">
 <img alt="연구성과를 AI로 생성한 이미지. KAIST 제공." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/15/dt/20261115130958386ffzo.jpg" data-org-width="640" dmcf-mid="PFp2N23GhQ" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/15/dt/20261115130958386ffzo.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 연구성과를 AI로 생성한 이미지. KAIST 제공.
 </figcaption>
 </figure>
 시끄러운 곳에서 입모양만으로 상대의 말을 이해할 수 있는 인공지능(AI) 기술이 개발됐다.
 심한 소음으로 미처 알아듣지 못한 입모양을 앞뒤 문맥으로 해독해 소음이 큰 산업 현장이나 청각장애인·난청인 대화를 돕는 기기로 활용될 것으로 기대된다.
 소음이 심한 현장에서 말을 문자로 전달하거나 청각장애인·난청인 의사소통을 지원하는 등 소통 기술로의 활용이 기대된다.
 KAIST는 노용만 전기및전자공학부 교수 연구팀이 입술 움직임을 보고 말을 문자로 바꾸는 ‘시각적 음성인식’(VSR)의 정확도를 높이는 기술을 개발했다고 15일 밝혔다.
 VSR 기술은 음성 데이터 없이 입술 움직임 등 시각 정보만으로 상대방의 말을 텍스트로 변환해 준다. 하지만 단어를 무조건 왼쪽에서 오른쪽으로 순서대로 예측하는 자가회귀 방식에 의존한다.
 이 때문에 앞부분에서 잘못된 단어를 선택하면 이후 문맥이 주어져도 이를 바로 잡을 수 없는 한계가 있다.
 연구팀은 이런 순차적 생성 한계를 극복하기 위해 문장의 빈칸을 반복해서 채워나가는 ‘확산 대형언어모델’(DLLM)을 시각적 음성 인식에 도입한 ‘DLLM-VSR’ 프레임워크를 제안했다.
 이 프레임워크는 처음부터 순서대로 읽던 방식을 확실한 부분부터 읽기로 바꿔 입모양이 분명한 단어를 먼저 파악한 뒤 그 단어들을 단서로 삼아 남은 부분을 해독하는 방식이다.
 마치 퍼즐에서 모양이 분명한 조각부터 맞추고 주변 조각을 채우는 것과 같은 원리다.
 학습 방식도 개선했다. 먼저 영상 속 입술 움직임과 글자 내용을 연결하도록 가르친 뒤 문장의 길이를 학습하도록 두 단계로 나눴다.
 또 말을 해독할 때는 영상 길이를 바탕으로 가능한 문장 길이 여러 개를 추정하고 가장 신뢰할 만한 문장을 선택하도록 했다.
 연구팀은 433시간 분량의 입모양 영상 데이터셋 ‘LRS3’를 학습에 활용해 AI 단어 오류율 19.4%를 기록했다.
 단어 오류율은 정답 문장과 비교해 단어를 잘못 인식하거나 빠뜨려 불필요하게 추가한 비율로, 낮을수록 성능이 좋음을 의미한다.
 연구팀은 앞으로 AI 모델 크기와 연산량을 줄여 웨어러블 기기 등 다양한 기기에 적용하는 연구를 이어갈 계획이다.
 노 교수는 “이번 연구는 AI가 단어를 생성하는 순서를 유연하게 제어하는 것만으로도 시각적 모호성을 지닌 음성인식의 근본적 한계를 극복할 수 있음을 입증했다는 데 의미가 있다”며 “실제 생활과 산업 현장의 다양한 기기에서 신뢰하고 사용할 수 있는 피지컬 AI 기반을 마련할 것”이라고 말했다.
 한편 이번 연구결과는 자연어 처리 분야 국제학술대회에서 우수 논문상을 받았다.
 이준기 기자 bongchu@dt.co.kr
 </section> 
 </div> 
 Copyright © 디지털타임스. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기