T5 모델을 활용한 정밀도 높은 data-to-text 생성 방법론

Abstract

최근 테이블 등의 구조화된 텍스트를 잘 이해하는 언어 모델을 학습시키기 위한 시도가 활발히 이루어 지고 있지만 대부분의 방법론들은 테이블의 구조적인 정보를 손실시키거나 대규모 언어 모델 사전 학습시 사용된 자유 형태 텍스트와 다른 형태의 데이터를 모델에게 입력으로 주는 등의 문제점을 지니고 있다. 이에 이 논문에서는 구조화된 데이터를 다루는 새로운 연구 갈래인 data-to-text 생성 작업을 소개하고해당 문제를 해결하는 것을 이 논문의 목표로 한다. 이어지는 내용으로 T5 모델을 data-to-text 생성 작업에 미세 조정할 수 있는 방법론을 제시한 뒤 해당 방법론을 통해 학습된 모델을 이용하여 생성된 문장들을 여러 지표로 평가를 진행하였다. 또한 입력 테이블에 포함된 정보의 양이 많을수록 생성되는 문장의 질이 떨어진다는 문제점을 확인하였고 이러한 문제를 학습된 모델의 구조 변경이나 추가적인 학습 없이효과적으로 해결할 수 있는 알고리즘을 제시하였다.