필터 뱅크 다중 반송파 시스템의 내재 간섭을 최소화하는 송수신 필터 설계 방법이 제시된다. 본 발명에서 제안하는 필터 뱅크 다중 반송파 시스템의 내재 간섭을 최소화하는 송수신 필터 설계 방법은 QAM-FBMC(Quadrature Amplitude Modulation-Filter Bank Multi Carrier) 시스템의 신호 간섭을 모델링 하기 위해 QAM-FBMC 시스템을 행렬로 나타내는 단계, 신호 간섭의 파워를 최소화 하는 MMSE(Minimum Mean Squared Error) 조건에 따라 수신 결합 필터를 설계하는 단계 및 설계된 수신 결합 필터에 따른 송신 펄스 형성 필터를 설계하는 단계를 포함한다.