영상을 활용한 딥러닝 모델 기반의 실시간 립리딩 인터페이스 시스템Real-time Lip Reading Interface System based on Deep Learning Model Using Video
영상을 활용한 딥러닝 모델 기반의 실시간 립리딩 방법 및 인터페이스 시스템이 제시된다. 본 발명에서 제안하는 영상을 활용한 딥러닝 모델 기반의 실시간 립리딩 방법은 입력 영상으로부터 립 랜드마크(lip landmark)를 감지하고, 감지된 립 랜드마크의 영상 발화 시점/종점 및 음성 발화 시점/종점을 설정하는 단계 및 설정된 음성 발화 시점/종점 및 영상 발화 시점/종점을 딥러닝 모델에 기초하여 단어를 분류하는 단계를 포함한다.
- Assignee
- 한국과학기술원
- Country
- KO (South Korea)
- Application Date
- 2020-03-19
- Application Number
- 10-2020-0033801
- Registration Date
- 2022-12-15
- Registration Number
- 10-2479400-0000
- Appears in Collection
- CS-Patent(특허)
- Files in This Item
- There are no files associated with this item.
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.