청각 장애인도 예술 공연을 즐길 수 있을까. 이를 가능하도록 도와주는 기술을 적용한 공연이 이루어졌다. 음악이나 소리 등 청각 정보에서 주파수 신호를 뽑아 촉각 패턴을 만들어 피부로 전달해주는 새로운 사용자 인터페이스(UI) 기술이다. 손가락 끝의 촉각으로 음악을 감상하거나 소리를 만질 수 있는 시대가 멀지 않았다.

한국전자통신연구원(ETRI·원장 김명준)은 '촉각 음정 시스템'을 이용해 청각장애인을 위한 국악공연에서 악기의 음정을 청각장애 관람자에게 실시간으로 전달하는 기술을 선보였다고 30일 밝혔다.

촉각 음정 시스템은 음악이나 소리 등 청각 정보로부터 소리의 주파수 신호를 뽑아내 촉각 패턴으로 만들어 기기를 통해 피부에 전달하는 사용자 인터페이스(UI) 기술이다. 이 기술을 적용한 장갑을 착용하면 음정 변화를 손가락으로 느낄 수 있다.

ETRI는 지난해 촉각 음정 시스템을 개발해 청각장애인에게 소리를 전달한 바 있다. 이번에는 이 기술을 청각장애인을 위한 국악공연 '이음풍류'에 적용한 것이다.

이음풍류는 국내 최초로 청각장애인들이시각과 촉각으로 생생한 국악 라이브를 즐길 수 있도록 기획한 공연이다. 모든 곡은 수어로 해설을 곁들여 전달했고, 자막도 붙였다.

비햅틱스에서 개발한 조끼를 착용하면 연주의 박자감을 온몸으로 느끼고 ETRI의 촉각 음정 시스템을 적용한 장갑을 통해 악기의 정밀한 음정 변화를 손가락으로 느낄 수 있도록 했다. 

또 각 악기의 선율 변화를 시각적 효과(미디어아트)와 함께 제공하여 시각적인 즐거움을 더했다.

ETRI는 국악공연과 실시간 연동을 위해 촉각 음정 시스템의 기존 촉각 패턴을 서양 음계 방식에서 국악의 음계 방식으로 변경하고 악기의 특성에 맞게 음역을 확대하는 등 기존 시스템을 최적화했다.

연구진은 잡음 조정(노이즈 튜닝) 및 속도·떨림 보정을 통해 명확한 음정 표현을 가능케 했으며 음향-기기 간 실시간 반응속도를 높여 정확도를 향상시켰다. 공연 환경 및 상황에 따라 실시간으로 촉감의 최적화를 변경할 수 있도록 UI를 개선해 이음풍류 공연에 제공했다.

 해외에서도 촉각을 이용해 청각장애인을 위한 라이브 공연을 시도한 적이 있으나 이는 음악의 비트감을 몸으로 체감하는 수준에 그쳤다. 악기의 정밀한 음정 변화를 동시에 제공하는 방법으로는 이음풍류 공연을 시도한 것은 이번이 세계에서도 처음이다.

ETRI 신형철 휴먼증강연구실장은 "ETRI가 개발한 기술이 실험실 환경을 벗어나 실제 공연에 도입할 기회를 얻어 기술 개발에 대한 보람을 느끼고, 나아가 기술 적용 분야에 대한 시야를 넓힐 수 있었다"고 말했다.

ETRI는 앙상블제이컴퍼니, 비햅틱스와 지난 9월 24일과 10월 22일에 울산에서 11월 19일에 온라인으로 공연을 개최했다. 이밖에도 국악의 각 악기와 촉각 장치들을 체험할 수 있는 공간을 마련하여 청각장애인들과 교류를 진행했다. 

향후 연구진은 촉각 센서 및 기기 완성도를 높이는 연구를 수행할 계획이며, 교육용 콘텐츠 개발을 비롯하여 음악 관람 및 학습 분야로 촉각 음정 시스템을 더욱 확산할 예정이다.