기존의 무선 통신 시스템에서 사용되어 왔던 CP-OFDM은 주파수 제한 특성이 나쁜 단점을 가지고 있으며, 이를 보완하기 위하여 new waveform 으로 불리는 다양한 다중 반송파 기술이 연구되고 있다. 그 중 하나로, 주파수 도메인에서 좋은 지역화 특성과 주파수 효율을 가진 QAM-FBMC 기술이 고려되고 있다. 이 논문에서는, QAM-FBMC에서 파형의 특성 및 성능을 결정하는 프로토타입 필터의 기존 설계 기준을 분석하고, 시간 도메인에서 좋은 특성을 가질 수 있고 실용적으로 활용될 수 있는 필터를 위한 새로운 설계 기준을 제안한다. 또한, 설계된 필터의 특성을 활용하여 QAM-FBMC에서 발생하는 내재 간섭을 복잡한 신호 처리 없이 처리할 수 있는 간섭제어 수신기를 제안한다. 마지막으로 시뮬레이션을 통하여 설계된 QAM-FBMC 필터가 기존의 필터보다 더 좋은성능 지표를 보임을 확인한다.