“멜로디를 상상하면 음악이 연주된다?” 삼성미래기술육성사업이 지원하는 ‘뇌신호 해독 통한 음악 연주 기술’

“멜로디를 상상하는 것만으로 음악을 연주할 수 있다면?”

말 그대로 ‘상상을 현실로 만드는’ 연구가 있다. 바로 한양대학교 정은주 교수 연구팀의 <뇌신호 해독을 통한 음악 연주 기술 – Musicing-BCI (Brain Computer Interface) 시스템> 연구다.

정은주 교수는 음악이 사람의 뇌에서 시작된다고 말한다. 머릿속에 특정 음을 상상할 때 뇌파가 발생한다는 것. 이를 기록하고 해독·분류하는 과정을 거쳐 악기 소리로 출력할 수 있다면, 상상만으로 음악을 연주할 수 있게 된다. ‘Musicing- BCI 시스템’은 이 과정을 구현하려는 시스템이다.

삼성전자는 삼성미래기술육성사업을 통해 2019년 하반기부터 정은주 교수 연구팀의 연구를 지원하고 있으며, 최근 연구의 목적과 연구가 성공적으로 진행됐을 때 효과를 자세히 소개하는 영상을 공개했다.

▲유튜브 영상 『멜로디를 상상하면 음악이 연주된다?』의 장면

영상은 뇌질환 장애인의 뇌신호를 따라 멜로디가 연주되고, 이에 재즈 밴드가 다양한 악기로 합을 맞추는 모습을 담고 있다. ‘상상’하고 ‘해독’하고 ‘연주’하는 과정을 통해, 보다 많은 사람들이 자유롭고 풍부하게 음악을 즐기게 될 것이란 가능성을 보여준다.

정은주 교수는 그동안의 연구를 통해 일반 성인을 대상으로 ‘Musicing- BCI 시스템’의 개념 검증을 완료하였고, 향후 영상에 출연한 뇌병변 장애인처럼 뇌질환 장애를 가진 임상군을 대상으로 연구를 계속할 예정이다.

정교수는 “언젠가 이 시스템을 통해 신체 장애로 인해 예술 체험이 제한된 사람들도 능동적으로 예술 감상과 표현에 참여하고, 나아가 그들의 정서적 안정과 재활 치료에도 도움이 될 것으로 기대한다”고 밝혔다.

상상 속 멜로디가 현실의 음악으로 연주되는 순간을 아래 영상에서 만나 볼 수 있다.

삼성미래기술육성사업은 국내 기초과학 발전과 산업기술 혁신, 사회 문제 해결, 세계적인 과학기술인 육성을 목표로 삼성전자가 2013년부터 1.5조 원을 출연해 시행하고 있는 연구 지원 공익사업이다.