손동작 추적 VIST 시스템 및 동작 개념 및 장갑 이미지(사진(논문 캡처)

서울대학교 공과대학(학장 이병호)은 기계공학부 이동준 교수 연구팀이 강건하고 정확한 손동작 추적기술인 VIST(visual-inertial skeleton tracking)를 개발했다.

이 기술은 로봇뿐만 아니라 가상/증강현실, 스마트공장, 재활 등 다양한 산업에서 사용자 인터페이스(user interface)에 손과 손가락의 활용 가능성을 제시한 것이다.

(왼쪽부터) 서울대학교 공과대학 기계공학부 이용석 박사((현) 삼성리서치), 도원경 연구원((현) Stanford대), 윤한별 연구원((현) UCLA), 허진욱 연구원, 이원하 연구원((현) 삼성전자), 이동준 교수

손과 손가락을 다채롭고 정교하게 사용하는 것은 인간의 가장 중요한 특징 중 하나이며 외부와의 상호작용을 풍부하게 해주는 중요한 요소이다. 하지만, 현재 로봇제어나 가상현실 등에서 사용되는 사용자 인터페이스에서는 태블릿 평면 위의 움직임만을 제어할 수 있거나 컨트롤러를 움켜쥐고 주먹으로 아바타를 제어하는 식으로, 3차원에서 움직이는 풍부한 손과 손가락의 움직임을 활용할 수 없다.

이를 위해 카메라와 AI를 이용한 영상기반 손동작 추적기술, 관성센서(inertial measurement unit)와 지자기센서를 활용하여 손가락 각도를 측정하여 손동작을 추적하는 기술, 소프트 웨어러블 센서의 변형을 측정하여 손동작을 추정하는 기술 등이 개발되고 있으나, 각각 영상가림, 자기교란, 물체/환경과 접촉에 의한 신호교란 등의 근본적인 문제를 가지고 있어서 다양한 환경과 산업에 적용되지 못하였다.

 개발한 손동작 추적 VIST 시스템 및 동작 개념도

서울대 기계공학부 이동준 교수 연구팀이 개발한 VIST(visual-inertial skeleton tracking) 기술은 이러한 각 기술의 근본적 문제를 해결하는 최초의 기술로, 7개의 관성센서와 날염이 가능한 37개 마커가 장착된 장갑과 머리에 쓴 카메라의 정보를 상보적으로 융합하여 물체 조작 시 빈번하게 나타나는 영상가림이나 전자장비/철구조물 근처에서 발생하는 지자기교란, 가위나 전동드릴, 촉각장비 착용에 따른 접촉에도 강건하고 정확하게 손과 손가락 동작을 추적하는 기술이다.

​특히, 작은 손바닥 위에서 많은 손가락이 빠르고 복잡하게 움직이는 손동작에서는 카메라가 마커를 놓쳐서 추적이 실패하기가 매우 쉬운데, 관성센서를 활용하여 카메라의 마커 추적 성능을 높이고 이와 동시에 카메라 정보를 활용하여 관성센서 정보의 발산을 교정하여 손동작 추적의 강건성과 정확도를 동시에 달성한 “영상관성센서 강결합융합(tightly-coupled fusion) 기반 다수의 골격체(skeleton)를 추적하는 기술”이 VIST의 핵심기술이다.

손동작 추적 VIST기술 활용 예시: 원격제어, 협동로봇, 군집제어, 가상/증강현실 

연구책임자인 이동준 교수는 “개발한 VIST 손동작 추적기술은 로봇손이나 협동로봇, 군집로봇을 손과 손가락을 사용하여 직관적이고 효율적으로 제어하게 해줄 것이고, 이와 동시에 가상현실, 증강현실, 메타버스 등에서도 자연스러운 상호작용을 가능하게 해줄 것으로 기대된다”라며 “특히 기존 제품대비 가벼운 무게(55g), 저렴한 가격(재료비 100달러), 높은 정확도(1cm정도 추적오차) 및 내구성(세탁가능)으로 말미암아 향후 상용화의 가능성도 크다고 할 수 있다”라고 말하였다.

한편, 이 연구는 로보틱스 분야 글로벌 최고 권위의 ‘사이언스 로보틱스(Science Robotics)’에 '폐색, 간섭 및 접촉에 대한 견고성을 갖춘 시각적 관성 손 동작 추적(Visual-inertial hand motion tracking with robustness against occlusion, interference, and contact)'란 제목으로 29일(현지시간) 게재됐다.

저작권자 © 테크데일리(TechDaily) 무단전재 및 재배포 금지