메타(옛 페이스북)가 16일(현지시각) 메타버스에 촉각을 가져다 줄 햅틱 장갑 연구 내용을 공개했다. 몰입형 메타버스에서 상호작용을 하는데 필요한 인터페이스와 관련한 내용이다.

아직은 연구소 수준의 프로토타입이지만 앞으로 메타버스 세계를 어떻게 구현해 나갈 것인지를 보여주는 것이어서 주목된다.

가상세계를 느낄 수 있는 슬립온 진동 장갑 아이디어는 오랫동안 VR에 대한 공상과학 비전의 일부였다.

메타에서 증강현실(AR)과 가상현실(VR)에서 상호작용의 미래를 발명하는 임무를 맡은 리얼리티랩 연구팀은 지난 7년 동안 햅틱 장갑을 연구해왔다. 개발된 장갑은 아직 휴대는 못하고 PC에 연결해서 사용해야 한다.

연구팀은 연구중인 프로토타입 팽창식 방광 장갑을 소개하면서 아직은 소비자가 사용할 수 있는 단계가 아니라고 밝혔다. (오큘러스) 퀘스트에 VR 헤드셋과 함께 번들로 제공하기까지는 아직 더 많은 시간이 걸릴 것으로 보인다.

이들은 단지 몇 년 후가 아니라 10년에서 15년 후 디지털 세계에 대한 비전을 제시하고자 한다. 메타버스의 핵심 과제 가운데 하나인 '가상세계를 어떻게 만지는가'하는 문제를 해결하기 위한 장기 연구프로젝트를 수행하고 있다는 설명이다.

최신 장갑 디자인은 미세유체학을 활용해 장갑을 가로질러 일련의 주머니를 만들어 공기를 넣는 형태다. 이는 다수의 작은 모터로 장갑 한  쌍을 채우는 것보다 덜 어려운 개념이다. 메타의 듄 스틸 슈트와 같은 아이디어다. 

리얼리티랩의 연구책임자인 숀 켈러(Sean Keller)는 "AR 및 VR에서 상호작용 문제를 해결하는 데 손의 가치는 엄청나다. 손을 사용해 다른 사람들과 의사소통하고, 세상을 배우고, 그 안에서 행동한다"면서 "AR과 VR에 완전한 손의 존재를 가져올 수 있다면 평생 운동학습을 활용할 수 있다. 사람들은 세상과 상호작용하는 새로운 방법을 배우지 않고도 실제 물체처럼 가상 물체를 만지고 느끼고 조작할 수 있다"고 설명했다.

리얼리티랩의 목표는 AR/VR 상호작용 문제의 양면을 해결하는 부드럽고 가벼운 햅틱 장갑을 발명하는 것이다. 컴퓨터가 착용자의 손 움직임을 정확하게 이해하고 반영하도록 돕고, 압력과 같은 착용자의 복잡하고 미묘한 감각을 재현하는데 도움을 주고자 한다. 이를 VR 헤스셋과 페어링하면 단순한 주변장치를 넘어 가상세계를 실감나게 만드는 역할을 하게 된다.

켈러는 "이 분야에 대한 거의 모든 것을 처음부터 새로 만들고 있다. 촉각을 어떻게 인식하고 작업을 완료하는지, 어떻게 다양한 사람의 손 모양과 크기에 맞출 것인지 등을 연구하고 있다"면서 "우리는 소프트로봇 공학과 계측 추적시스템으로 가능한 것의 한계를 뛰어넘고 있으며 완전히 새로운 연질 재료와 제조 기술을 발명하고 있다"고 말했다. 그는 이를 '과거로부터 완전히 단절된 것'이라고 설명했다.

햅틱 장갑으로 사실적인 촉각을 전달하기 위해서는 손 전체에 수백개의 작은 모터(액추에이터)가 필요하다. 그러다 보니 너무 크고 단단해진다. 가격은 비싸고 전력 소모도 많다. 

연구팀도 연구 시작 2년 후부터 이같은 한계를 극복할 방안으로 부드럽고 유연한 액추에이터가 필요하다고 판단, 소프트 로봇 공학과 미세 유체 공학으로 눈을 돌렸다. 그 결과로 기압을 사용해 힘을 생성하는 공압식 액추에이터와 전기장에 따라 모양이나 크기가 변하는 전기 활성식 액추에이터에서 획기적인 발전을 이루었다.

지금은 이 새로운 소프트 액추에이터를 제어하기 위해 세계 최초로 고속 미세 유체 프로세서를 구축하고 있다. 밸브를 언제 얼마나 멀리 열고 닫을지 알려줌으로써 액추에이터를 움직이는 공기 흐름을 제어하는 장갑의 작은 미세 유체 칩이다.

메타 리얼리티랩에서 연구중인 미세 유체 공학이 일반적인 분야와 다른 점은 매우 가볍고, 착용할 수 있고, 빠르게 만드는데 중점을 두고 있다는 점이다. 액추에이터는 햅틱 상호작용을 위해 가상 또는 증강현실에서 어떤 이벤트가 발생할 때 밀리초 단위의 속도로 빠르게 손끝에 압력을 가해야 한다. 연구팀은 이를 위해 공기를 사용해 더 빠른 응답 속도를 확보했다. 또 유체 논리 회로를 통해 많은 수의 액추에이터를 제어하는데 필요한 전자 기계 밸브 수를 줄임으로써 무게를 줄였다.

언제 어디서든 올바른 감각을 전달하기 위해 컴퓨터가 가상 장면에서 손이 어디에 있는지, 가상 물체와 접촉하고 있는지, 손이 물체와 어떻게 상호작용하는지를 정확하게 알 수 있는 고급 손 추적 기술 연구도 지속했다. 또 손의 위치와 질감, 무게, 강성을 포함한 가상환경에 대한 이해를 기반으로 정확한 시간에 손의 액추에이터에 올바른 명령을 보낼 수 있는 새로운 유형의 렌더링 소프트웨어도 필요했다. 

연구팀의 세번째 과제는 4년차에 나타났다. 질감과 감각을 작동시키려면 현실을 모방하는 방식으로 촉각 물리학을 모델링해야 하지만 재현에 한계가 있었다. 가상 물체를 잡으려고 할 때 손가락이 물체를 통과하는 현상을 제어하기 어려웠다. 

이에 연구팀은 지각 과학과 다 감각 통합 연구에 나섰다. 2017년 말에는 손가락 끝에 있는 단일 진동 촉각 장치를 사용해 나무, 대리석, 거품 등 다양한 재료로 만든 가상 구체를 떨어뜨렸을 때의 햅틱 피드백을 실험했다. 켈러는 결과를 두고 "재료가 떨어지면서 손가락에 부드럽ㄱ 닿는 감각을 경험할 수 있었다"며 "모든 타이밍과 엔지니어링이 시청각 햅틱 경험에 적합했다"고 평가했다.

마지막 과정은 가볍고 부드러우며 내구성이 높은 장갑을 만드는 일이었다. 재료 그룹은 분자 수준에서 맟춤화 할 수 있는 플라스틱 및 실리콘과 같은 유연한 재료인 새롭고 저렴한 폴리머를 발명하기 시작했다. 전도성 원사만으로는 VR에서 상호작용을 하는데 필요한 모든 기능이 없기 때문에 전도성과 용량성 및 감지 기능을 포함한 여러 기능을 동일한 섬유 또는 패브릭에 구축하는 등 방법을 모색하고 있다.

얇고 가벼운 햅틱 장갑을 만드는 것은 하나의 도전이다. 리얼리티랩은 이를 '문샷'으로 시작한 프로젝트라고 했다. 하지만 수십 가지 분야에서 성과를 내면서 점점 현실로 다가오고 있는 것도 분명한 사실이다. 

켈러는 "햅틱 장갑 프로젝트를 시작했을 때 사람들이 어디서든 유형의 인터페이스를 경험할 수 있는 저렴한 소비자 장치를 만들 수 있을지 자문했다"면서 "우리는 새로운 재료와 새로운 센서 및 액추에이터, 새로운 통합 및 시스템 방법, 새로운 랜더링 알고리즘, 새로운 물리 엔진을 발명하면서 불가능해 보였던 일에 도달할 수 있는 길을 만들고 있다"고 말했다.