뇌졸중 환자들의 손 기능 재활을 돕기 위해 다양한 손동작 의도를 인식하는 비전 기반 알고리즘과 이를 보조할 수 있는 장갑 형태의 소프트 웨어러블 로봇을 접목시킨 재활 보조 시스템을 개발하였다.

뇌졸중 환자들은 뇌로 전달되는 혈류 부족으로 인해 급격한 뇌 기능 손상을 겪으며, 이는 다양한 신체 부위의 운동 능력, 조정력, 그리고 정교한 손 움직임 수행능력의 저하를 유발한다. 특히, 손 기능의 저하는 컵, 신용카드, 칫솔 등 다양한 형태의 물체들을 잡는 것이 요구되는 일상 생활에 지장을 주어 삶의 질을 크게 떨어뜨릴 수 있다.

뇌졸중 환자들의 손 재활 훈련은 사용자가 의도하는 다양한 손자세를 연습할 수 있도록 하는 것이 관건이다. 하지만, 근전도 (electromyography), 뇌파 (Electroencephalogram) 등의 생체 신호로 부터 의도를 인식하는 기존의 방식들은 다양한 손동작 의도를 식별하는 것에서는 낮은 정확도를 보였다.

이러한 문제를 극복하기 위하여 전산학부 조성호 교수와 기계공학과 박형순 교수가 이끄는 연구팀은 다양한 손동작에 대한 의도를 인식하는 알고리즘과 소프트 웨어러블 장갑을 접목시킨 손 재활 보조 시스템을 제시하였다. 해당 연구에서 제시하는 손동작 의도 인식 모델 DEpth Enhanced hand POSturE intention Network (DEEPOSE-Net) 은 재활 공간 내 카메라로 수집되는 이미지 (RGB) 와 깊이 (Depth) 정보로부터 손의 움직임, 손-물체 상호작용을 분석하여 사용자가 의도하는 다양한 손동작들을 예측한다. 이러한 정보는 다자유도 소프트 웨어러블 장갑이 손가락의 움직임을 도와 사용자가 원하는 손동작을 보조하는데 활용된다.

DEEPOSE-Net은 보다 정확하게 다양한 손동작 의도들을 식별하기 위해 Depth-enhanced Attention Mechanism을 적용하여 각 손동작들의 특징적인 부분들을 강조하였다. 해당 주의 메커니즘(Attention Mechanism)은 깊이 데이터와 RGB 데이터를 상관 관계를 학습하고, RGB 데이터상 어떠한 특정 부위가 손동작 의도 인식에 중요한 역할을 하는지 파악하여 강조한다. 특히 해당 메커니즘은 시각적으로 유사한 손동작들에 대해서도 주요한 부분들을 강조함으로써 이러한 동작들의 의도를 식별하는 성능을 향상시킬 수 있었다. 예를 들어 작은 물체를 위에서 잡는 Tripod 동작과 큰 물체를 위에서 잡는 Power Sphere 동작의 경우 시각적으로 굉장히 유사하지만 Depth-enhanced Attention Mechanism을 활용하면 각 손동작에 활용되는 손가락만을 정확하게 강조할 수 있었다.

DEEPOSE-Net의 경우 기존의 비전 기반 의도 인식 모델 및 생체 신호를 활용한 방식들 대비 높은 손동작 의도 인식 정확도를 보였다. 해당 알고리즘을 건강인들 대상으로 학습 후 뇌졸중 환자들 대상으로 평가 시 5가지 손동작들에 대한 정확도는 80.3% 였으며 건강인들에 대해서는 90.4% 정확도를 나타냈다. 추후, 환자들을 대상으로 학습 시 환자들의 손동작 의도 인식 정확도가 더욱 개선될 것이라 전망된다. 해당 연구는 융합 연구로써의 성과를 인정받아 전산학 및 학제간 분야의 권위있는 학술지인 IEEE Transactions on Industrial Informatics 4월 호에 기재되었다. (논문 제목: Multiple Hand Posture Rehabilitation System using Vision-Based Intention Detection and Soft Robotic Glove)