세상 한 접시PlanetPlate

생각만으로 '아바타'가 말하고 손을 흔들었다

미국 연구팀이 뇌 신호를 읽어 화면 속 아바타가 말과 몸짓을 동시에 표현하게 하는 장치를 시험했어요. 심한 마비가 있는 참가자 3명이 참여했고, 손 흔들기나 엄지척 같은 동작도 함께 해독됐습니다.

원문 출처: NIH Research Matters — Device helps people with paralysis communicate

생각만으로 '아바타'가 말하고 손을 흔들었다
사진: NIH

무슨 일이야?

뇌졸중이나 신경이 점점 망가지는 병 때문에 마비가 오면, 말하기와 몸 움직이기가 모두 어려워질 수 있어요. 그러면 다른 사람들과 어울리는 일과 삶의 질에도 영향이 갑니다.

이런 분들을 돕기 위해 과학자들은 뇌-컴퓨터 인터페이스(BCI)를 만들어 왔어요. 뇌 활동을 말이나 움직임으로 바꿔 주는 장치입니다. 그런데 지금까지는 자연스러운 대화처럼 말과 몸짓을 동시에 옮겨 주는 장치가 빠져 있었어요.

뇌-컴퓨터 인터페이스가 정확히 뭐예요?

우리가 말하거나 손을 움직이려고 하면, 뇌에서는 '이렇게 움직여라' 하는 전기 신호가 나와요. 마비가 있으면 이 신호가 몸까지 전달되지 못하죠.

BCI는 이 신호를 몸 대신 컴퓨터가 받아 읽는 장치예요. 마치 끊어진 전화선 대신 무선 중계기를 놓아서 말을 전해 주는 것과 비슷합니다.

컴퓨터는 읽어 낸 신호를 글자, 소리, 화면 속 캐릭터의 움직임 등으로 바꿔 보여 줍니다.

그래서 BCI는 뇌의 신호를 컴퓨터가 대신 읽어서 말과 움직임으로 바꿔 주는 장치입니다.

캘리포니아대학교 샌프란시스코(UCSF)의 에드워드 창 박사 연구팀이 이 일에 도전했어요. 미국 국립보건원(NIH)의 지원을 받았고, 결과는 2026년 9월 14일 학술지 Nature Neuroscience에 실렸습니다.

연구팀은 이전에도 심한 마비가 있는 한 사람에게서 이 장치로 말을 글자, 소리, 아바타의 얼굴 표정으로 옮기는 데 성공한 적이 있어요. 이번에는 거기에 몸의 움직임까지 더했습니다.

비결은 '한 장의 전극'으로 말과 몸짓 읽기

연구팀은 수술로 뇌에 심은 아주 작은 전극 배열로 참가자들의 뇌 신호를 기록했어요. 이 신호를 명령으로 바꿔 화면 속 가상 인물, 즉 아바타를 움직이게 했습니다.

특히 말과 움직임을 담당하는 뇌 부위인 운동 피질의 신호에 집중했어요. 참가자는 모두 3명으로, 목소리를 내는 부위에 심한 마비가 있었습니다. 이 중 2명은 팔다리에도 심한 마비가, 나머지 1명은 중간 정도의 마비가 있었어요.

운동 피질이 뭐예요?

운동 피질은 뇌의 겉부분에 있는, 몸을 움직이라고 명령을 내리는 곳이에요. 이번 연구에서는 말하는 일과 몸을 움직이는 일을 모두 맡는 곳이라고 설명합니다.

회사로 치면 '실행 부서'라고 할 수 있어요. 입, 얼굴, 팔 같은 곳에 각각 '이렇게 하세요' 하고 지시서를 보내는 거죠.

참가자들은 상체 움직임을 담아내는 전신 아바타와 연결됐어요. 대표적인 동작은 손 흔들기와 엄지척이었습니다.

결과를 보니, 전극 한 장만으로 다양한 말과 몸짓을 동시에 읽어 낼 수 있었어요. 상체, 입, 얼굴의 따로 떨어진 움직임도 세 참가자 모두에게서 안정적으로 해독됐습니다.

훈련 방법도 비교했어요. 말과 몸짓을 함께 시도할 때의 데이터로 훈련시키는 방법과, 말이나 몸짓만 따로 시도할 때의 데이터로 훈련시키는 방법이에요. 두 종류의 데이터를 모두 쓰면 말과 몸짓 모두 해독 정확도가 좋아졌습니다.

그래서 뭐가 달라지는데?

참가자 중 2명은 아바타로 특정 동작을 따라 하고, 대화 질문에 답하는 시험도 했어요. 몸짓만 따라 할 때는 정확도가 최대 82%, 몸짓과 말을 동시에 따라 할 때는 65~70%였습니다.

실제 대화에 가까운 상황에서는 몸짓 정확도가 최소 85%, 말 정확도가 최소 75%였어요. 아직 완벽하진 않지만, 말과 몸짓을 함께 옮길 수 있다는 점을 보여 줍니다.

정확도 82%면 어느 정도예요?

10번 시도하면 8번 조금 넘게 맞힌다는 뜻이에요. 65~70%라면 10번 중 6~7번 정도 맞히는 셈이고요.

그러니 아직은 틀리는 경우도 꽤 있어요. 연구팀도 이번 결과를 '가능하다는 걸 보여 준 단계'라고 설명합니다.

주의 참가자가 3명뿐인 초기 단계의 연구라서, 일상에서 바로 쓸 수 있다는 뜻은 아니에요.

창 박사는 대화가 단어만의 문제가 아니라 운동 피질 전체가 참여하는 겹겹의 과정이라고 말해요. 이번 개념 증명은 BCI가 그런 자유로움과 유연함을 일부 되찾아 줄 수 있음을 보여 준다고 합니다.

앞으로 연구팀은 지금의 선으로 연결된 시스템을 몸속에 완전히 심는 무선 방식으로 바꿀 계획이에요. 이 글은 연구 소개일 뿐 치료 조언이 아니며, 자세한 내용은 원문과 논문에서 확인해 주세요.

알아두면 좋은 단어
  • 뇌-컴퓨터 인터페이스(BCI)뇌 활동을 읽어 말이나 움직임으로 바꿔 주는 장치예요.
  • 운동 피질말하기와 몸 움직임을 명령하는 뇌 부위입니다.
  • 아바타화면 속에서 사용자 대신 움직이고 표현하는 가상의 인물이에요.
  • 전극 배열뇌 신호를 기록하는 아주 작은 센서들을 판 위에 모아 놓은 것입니다.
이어서 먹어볼 접시
  • 뇌졸중은 왜 마비를 일으키나요? 곧 차려 드릴게요
  • 개념 증명 연구가 뭐예요? 곧 차려 드릴게요
  • 신경이 점점 망가지는 병은 어떤 게 있나요? 곧 차려 드릴게요
이 소식, 믿을 만해요 · 공식 기록미국 국립보건원(NIH)이 소개한 연구로, 학술지 Nature Neuroscience에 실린 논문입니다. 다만 참가자가 3명뿐인 개념 증명 단계의 연구예요.
원문 보러 가기NIH Research Matters — Device helps people with paralysis communicate

NIH Research Matters에 공개된 자료를 바탕으로 일반 독자를 위해 쉽게 풀어 쓴 글입니다. 정확한 내용은 원문을 확인해 주세요.

← 오늘의 메뉴로