행동복제와 심층 강화학습을 통한 영상처리 기반의 가이드와이어 자동제어

Abstract

심혈관 질환은 세계적으로 사망 원인의 1순위인 질환으로 심혈관 중재 시술을 통해 치료한다. 최근에 많은 연구자가 이것을 자동화하여 의사의 수고를 덜어주는 연구를 진행 중이다. 그중 많은 연구가 새로운 센서와 새로운 종류의 가이드와이어를 사용하지만, 혈관의 지름이 좁은 관상동맥에서 사용하기에는 어려움이 있다. 또한, 기존의 장비를 사용하는 강화학습을 사용한 연구에서는 환경의 변화를 학습하지 못해 특정 환경에서만 작동하거나 전⋅후진 행동과 회전 행동을 따로 수행하기 때문에 성능을 향상하는 데 어려움이 있다. 따라서 새로운 장비를 사용하지 않고 영상의 정보만을 통해서 효율적으로 가이드와이어를 자동제어하는 기술이 필요하다. 이 연구에서는 다양한 환경에서도 작동할 수 있도록 세분화된 이미지와 이전의 행동을 입력받는 Resnet-LSTM의 구조를 가진 액터 신경망을 설계하였다. 이후, 효율적인 학습을 위해 엑스퍼트 알고리즘을 설계하고 행동복제를 통해 액터 신경망을 학습하였다. 회전과 전⋅후진 운동을 동시에 수행할 수 있도록 하여 성능을 향상하기 위해 가상 환경에서 DDPG 알고리즘을 통해 강화학습을 진행하였다. 학습된 액터 신경망을 가상 환경과 실제 검증 환경에서 실험한 결과 목적지에 도달하는데 걸린 소요 시간이 엑스퍼트 알고리즘에 비해 크게 감소하였다.