말할 수 없는 루게릭병 환자 뇌파를
AI가 해석해 실시간 음성 합성
생각만으로 말하고 노래하는 시대

이번 주 과학기술계에서 가장 주목할 만한 소식은 단연 뇌-컴퓨터 인터페이스(BCI) 기술의 눈부신 진보를 꼽을 수밖에 없을 것 같습니다. 미국의 한 남성이 입을 전혀 움직이지 않고도, 생각만으로 자연스러운 목소리를 낼 수 있게 된 연구가 발표됐는데요.

그는 말뿐 아니라 노래까지 흥얼거릴 수 있었고, 감정이 담긴 억양이나 단어 강조까지 표현했습니다. 학계에서는 이를 두고 “실험실을 넘어 실생활로 나아가는 BCI 기술의 전환점”이라 평가하고 있습니다. 과연 어떤 논문인지 살펴보도록 하겠습니다.

뇌파 읽은 뒤, 이를 ‘말’로 전환

네이처에 실린 연구 논문

미국 캘리포니아대학교 데이비스 캠퍼스 연구진은 6월 11일, 세계적 과학 저널 ‘네이처(Nature)’에 ‘즉각적인 음성 합성 뇌 컴퓨터 인터페이스 신경 보철기(An instantaneous voice-synthesis neuroprosthesis)’라는 제목의 논문을 발표했습니다. 연구 대상은 루게릭병(ALS)으로 말을 할 수 없게 된 45세 남성. 연구진은 이 환자의 뇌, 특히 말하기와 관련된 전중심회에 256개의 미세전극을 이식했습니다.

이 기술의 핵심은 간단하지만 혁명적입니다. 환자가 머릿속으로 하고 싶은 말을 떠올리면, 그 순간 발생하는 ‘말하려는 의도’의 뇌 신호를 전극이 감지합니다. 이 신호는 실시간으로 딥러닝 기반 AI 모델에 전달되고, 곧바로 음성의 높낮이, 길이, 강세, 감정 등을 반영한 자연스러운 목소리로 합성됩니다. 입술도 성대도 쓰지 않지만, 컴퓨터는 마치 ‘생각을 목소리로 바꿔주는 스피커’처럼 작동합니다.

기존 BCI 기술은 주로 뇌 신호를 ‘텍스트’로 바꾸거나, 커서를 움직여 단어를 선택하는 수준에 머물렀습니다. 발화가 가능하더라도 단조로운 기계음에 몇 초의 지연이 필연적이었고, 제한된 단어만 사용할 수 있었습니다. 그러나 이번 논문을 살펴보면 실제 대화 속도에 맞춘 실시간 음성 출력, 억양·강조·감탄사, 그리고 노래 같은 고도의 표현까지 가능하다는 점에서 큰 진전을 보여줍니다.

BCI 기술의 성배 같은 연구성과

환자가 말하고 싶은 생각을 떠올리면, AI가 이를 읽어낸 뒤 음성으로 전환해 준다. [사진=네이처]

무엇보다 특별한 점은, 생성된 음성이 단지 컴퓨터 목소리가 아닌, 환자의 과거 목소리를 복원한 ‘개인화된 음성’이었다는 사실입니다. 연구진은 환자가 ALS 발병 전 녹음해둔 음성 데이터를 기반으로 AI 음성합성 모델을 훈련시켰고, 결과적으로 환자는 “진짜 내 목소리를 듣는 것 같아 행복했다”라고 말했습니다. 단순한 의사 표현을 넘어, 자신의 정체성을 회복한 순간이었습니다.

네덜란드 마스트리흐트대 크리스티안 헤르프 박사는 네이처와의 인터뷰에서 “이제 진짜 자발적이고 연속적인 말하기가 가능해졌다”라며 “음성 BCI의 성배를 찾은 셈”이라고 표현했습니다. 이는 기술적 수사만이 아니라, BCI 분야에서 오랫동안 꿈꿔온 이상이 현실이 되고 있음을 의미합니다.

이 기술은 한 사람에게 적용된 단일 사례지만, 향후 말하기가 완전히 불가능한 환자들에도 확장 가능성이 큽니다. 예를 들어 감금 증후군(lock-in syndrome) 환자들처럼, 의식은 또렷하지만 눈 깜빡임 외에는 어떤 움직임도 할 수 없는 상태의 사람들에는 혁명적인 소통 수단이 될 수 있습니다. 이제 그들도 생각만으로 ‘말’할 수 있는 시대가 열리고 있습니다.

이번 연구 ‘말’이라는 가장 인간적인 표현 수단을 되찾고, 자신의 목소리로 세상과 다시 연결되는 경험을 제공했다는 점에서, 인간의 존엄성과 커뮤니케이션 권리를 회복하는 데 이바지하는 사례로도 볼 수 있습니다.

그리고 무엇보다 중요한 건, 이 모든 것을 가능하게 한 배경에는 AI 기술의 비약적인 발전이 있다는 사실입니다. 뇌 신호의 미세한 패턴을 해석하고, 실시간으로 음성의 높낮이·강세·감정까지 구현해내는 작업은 사람이 직접 계산하기에는 불가능에 가깝습니다. 하지만 AI는 그것을 해냅니다. 과거에는 꿈처럼 여겨졌던 인간-기계 연결의 미래, 그것은 이제 AI 덕분에 훨씬 더 가까워지고 있습니다.

Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지