딥러닝 기술과 센서 결합, 단 한 개의 센서로 인체 움직임 예측 가능한 알고리즘 개발

손목에 부착하는 센서패치로 손가락 관절의 움직임을 정밀하게 측정할 수 있는 기술이 개발됐다. 차세대 웨어러블 AR 기술의 보편화 토대가 마련된 것으로 기대되고 있다.

KAIST는 전산학부 조성호 교수 연구팀이 서울대 기계공학과 고승환 교수 연구팀과 협력 연구를 통해 딥러닝 기술을 센서와 결합, 최소한의 데이터로 인체 움직임을 정확하게 측정 가능한 유연한 `피부 형 센서'를 개발했다고 20일 밝혔다.

피부 형 센서에는 인체의 움직임에 의해 발생하는 복합적 신호를 피부에 부착한 최소한의 센서로 정밀하게 측정하고, 이를 딥러닝 기술로 분리, 분석하는 기술이 적용됐다.

딥러닝된 피부형 센서 구성. 은 나노 입자를 레이저로 소결하여 크랙형상을 만들어 고민감 센서를 제작함. 손가락의 움직임을 마치 지진파 계측과 같이 손목에서 멀리 계측을 하여 딥러닝을 통해 신호에서 손가락 움직임을 추출한다.
딥러닝된 피부형 센서 구성. 은 나노 입자를 레이저로 소결하여 크랙형상을 만들어 고민감 센서를 제작함. 손가락의 움직임을 마치 지진파 계측과 같이 손목에서 멀리 계측을 하여 딥러닝을 통해 신호에서 손가락 움직임을 추출한다.

사람의 움직임 측정 방법 중 가장 널리 쓰이는 방식은 모션 캡처 카메라를 사용하는 것이다. 이 방식은 카메라가 설치된 공간에서만 움직임 측정이 가능해 장소적 제약을 받아왔다.

반면 웨어러블 장비를 사용할 경우 장소제약 없이 사용자의 상태 변화를 측정할 수 있어 다양한 환경에서 사람의 상태를 전달할 수 있다.

기존 웨어러블 기기들은 측정 부위에 직접 센서를 부착해 측정이 이뤄지기 때문에 측정 부위, 즉 관절이 늘어나면 더 많은 센서가 수십 개에서 많게는 수백 개까지 요구된다는 단점이 있다.

공동연구팀이 개발한 피부 형 센서는 `크랙' 에 기반한 높은 민감 센서로 인체의 움직임이 발생하는 근원지에서 먼 위치에 부착해서 간접적으로도 인체의 움직임을 측정할 수 있다.

`크랙' 이란 나노 입자에 균열이 생긴다는 뜻인데, 연구팀은 이 균열로 인해 발생하는 센서값을 변화시켜 미세한 손목 움직임 변화까지 측정할 수 있다고 설명했다.

연구팀은 또 딥러닝 모델을 사용, 센서의 시계열 신호를 분석해 손목에 부착된 단 하나의 센서 신호로 여러 가지 손가락 관절 움직임을 측정할 수 있게 했다.

전이학습 기반 RSL 학습 시스템. 새로운 사용자 혹은 센서를 사용할 경우, 시스템에서 안내하는 대로 각 손가락을 8초씩 움직여 재학습용 데이터를 수집하고 이를 통해 빠르게 모델을 재학습하여 새로운 사용자의 환경에 효과적으로 대응이 가능하다.
전이학습 기반 RSL 학습 시스템. 새로운 사용자 혹은 센서를 사용할 경우, 시스템에서 안내하는 대로 각 손가락을 8초씩 움직여 재학습용 데이터를 수집하고 이를 통해 빠르게 모델을 재학습하여 새로운 사용자의 환경에 효과적으로 대응이 가능하다.

사용자별 신호 차이를 교정하고, 데이터 수집을 최소화하기 위해서는 전이학습(Transfer Learning)을 통해 기존 학습된 지식을 전달했다.

이로써 적은 양의 데이터와 적은 학습 시간으로 모델을 학습하는 시스템을 완성하는 데 성공했다.

조성호 KAIST 교수는 "이번 연구는 딥러닝 기술을 활용해 실제 환경에서 더욱 효과적으로 사람의 실시간 정보를 획득하는 방법을 제시했다는 점에서 의미가 있다ˮ며 "이 측정 방법을 적용하면 웨어러블 증강현실 기술의 보편화 시대는 더욱 빨리 다가올 것ˮ이라고 예상했다.

고승환 서울대 교수도 "고 민감 피부 형 센서와 딥러닝 기술의 효과적 결합은 앞으로 주목받을 웨어러블 가상/증강현실 기기의 새로운 입력 시스템으로 활용될 것으로 기대된다ˮ고 강조했다.

연구 성과는 국제 학술지 `네이처 커뮤니케이션스(Nature Communications)' 5월 1일 字 온라인판에 게재됐다.

저작권자 © 테크데일리(TechDaily) 무단전재 및 재배포 금지