뇌신호를 음성으로 바꿔…간단한 멜로디도 흥얼

미국 캘리포니아대 연구진이 개발한 뇌-컴퓨터 인터페이스(BCI)를 사용하고 있는 루게릭병 환자. 환자는 컴퓨터를 통해 가족과 실시간으로 말하고, 간단한 멜로디도 노래할 수 있었다./미국 캘리포니아대

온몸이 마비돼 말하지 못하던 사람들이 목소리를 되찾을 날이 머지않았다. 미국 과학자들이 인공지능(AI)을 통해 실시간 의사를 전달할 수 있는 기술을 개발했다.

미국 데이비스 캘리포니아대(UC데이비스) 연구진은 “뇌 신호를 해독하고 사실상 실시간으로 음성으로 바꾸는 뇌-컴퓨터 인터페이스(BCI)를 개발했다”고 12일 밝혔다. 연구 결과는 이날 국제 학술지 ‘네이처(Nature)’에 게재됐다.

BCI는 뇌에서 나오는 신경신호를 포착하고 분석해 컴퓨터와 같은 외부 장치와 상호작용할 수 있도록 돕는 기술이다. 말하자면 생각을 컴퓨터로 옮겨 음성이나 문자, 기계 동작으로 바꾸는 방법이다. 이전에도 마비 환자의 뇌 신호를 음성으로 바꿔 다른 사람과 대화하는 데 성공한 연구들이 있었다.

문제는 속도다. 지금까지 생각을 음성으로 바꾸기까지 시차가 있어 자연스러운 대화가 어려웠다. UC데이비스 연구진은 이번에 0.025초 차이로 생각을 말로 옮겼다. 실제 사람이 말하고 듣는 것과 비슷한 속도이다.

연구진은 환자의 뇌에서 언어를 관장하는 영역에 미세 전극 네 개를 삽입해 신경세포 수백 개의 활동을 실시간으로 기록했다. 먼저 실험 참가자에게 문장을 보여주고 그대로 말해보라고 하면서 뇌 신호를 수집했다. AI는 특정 문장에 맞는 뇌 신호를 스스로 터득하고 나중에 뇌 신호를 감지하면 바로 그에 맞는 음성으로 옮겼다.

연구진은 근위축성 측삭경화증(ALS) 환자를 대상으로도 실험을 했다. ALS는 온몸 근육이 천천히 마비되는 희소 질환으로, 이 병에 걸린 메이저리그 야구선수의 이름을 따서 루게릭병이라 불린다. 환자는 안면 근육을 사용하지 못해 말로 의사 표현을 할 수 없는 상태였지만, 이번에 개발한 AI 시스템 덕분에 가족과 실시간으로 대화했다. 억양을 넣어 질문하고, 심지어 간단한 멜로디를 따라 부르기도 했다.

연구진은 환자가 미리 저장된 단어만 말하는 것이 아니라, 새로운 단어도 즉석에서 말할 수 있었다고 했다. BCI 시스템이 합성한 음성을 들은 사람들은 약 60% 정확도로 의미를 이해했다. BCI를 사용하지 않았을 때는 4%에 불과했는데, 약 15배로 전달력이 개선된 것이다.

다만 아직은 초기 단계다. 환자 한 명만 성공적인 결과를 보였고, 뇌졸중과 같은 다양한 원인으로 말하기 어려운 사람들에게도 같은 효과가 나타날지 확인해야 한다. 연구진은 ‘브레인게이트2′라는 이름의 임상시험을 통해 검증을 이어갈 예정이다.

세르게이 스타비스키 UC데이비스 교수는 “더 많은 사람들이 자신만의 목소리로 소통할 수 있도록 도울 것”이라며 “사회적 참여와 삶의 질 향상에 큰 도움이 될 것으로 예상한다”고 밝혔다.

참고 자료

Nature(2025), DOI: https://doi.org/10.1038/s41586-025-09127-3

- Copyright ⓒ 조선비즈 & Chosun.com -

Copyright © 조선비즈. 무단전재 및 재배포 금지.