음성-음악 혼재 데이터에서의 음성분리를 위한 확률적 어텐션을 사용한 양방향 LSTM 기반 피치 분류

김한규; 장길진; 박정식; 오영환; 최호진

doi:10.5626/KTCP.2019.25.4.223

주제분류

...

저널정보

Korean Institute of Information Scientists and Engineers
정보과학회 컴퓨팅의 실제 논문지 학술저널
정보과학회 컴퓨팅의 실제 논문지 제25권 제4호
2019.4 223 - 230 (8page)
DOI : 10.5626/KTCP.2019.25.4.223

저자정보

김한규 (네이버 Search&Clova)
장길진 (경북대학교)
박정식 (한국외국어대학교)
오영환 (한국과학기술원)
최호진 (한국과학기술원)

이용수
내서재: 1

내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

이 논문의 연구 히스토리 (2)

2019

음성-음악 혼재 데이터에서의 음성분리를 위한 확률적 어텐션을 사용한 양방향 LSTM 기반 피치 분류

김한규 , 장길진 , 박정식 외 2명 정보과학회 컴퓨팅의 실제 논문지 2019.04 학술저널

2018

확률적 어텐션을 사용한 양방향 LSTM 기반 음성/음악 피치 분류

김한규 , 장길진 , 박정식 외 2명 한국정보과학회 학술발표논문집 2018.06 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록·키워드

오류제보하기

Sub-band masking 기반 단일채널 음성분리에서는 음성피치를 추정하여 추정된 피치와 일치하는 주파수 에너지만 통과시키는 필터를 사용하여 배경 잡음으로부터 음성을 분리한다. 음성과 음악은 비슷한 하모닉 구조를 가지고 있어, 음악이 잡음으로 입력될 경우 추정된 피치에 음성 피치와 음악 피치가 공존하게 되며, 이는 음성분리의 성능하락으로 연결된다. 따라서 음성-음악 혼재 데이터에서의 효과적인 음성분리를 위해 음성 피치와 음악 피치를 분류해야 한다. 본 연구에서는 양방향 LSTM을 사용하는 음성/음악 피치 분류 방법을 제안하였으며, 양방향 LSTM의 성능을 향상시키기 위해서 확률적 어텐션 레이어 구조를 제안하였다. 또한 피치 분류 결과로부터 자연스러운 음성분리 결과를 얻기 위해 음악 에너지가 제거된 음성분리 마스크 생성 기법을 제안하였다. 실험결과 확률적 어텐션 기반 양방향 LSTM이 다른 방법에 비해 더 좋은 음성분리 성능을 보여주었다.

Speech segregation based on sub-band masking extracts speech signals from audio mixtures via estimation of speech pitch and conservation of signals compatible with the estimated pitch. As speech and music exhibit similar harmonic structures, speech pitch and music pitch coexist in the estimated pitch when speech-music mixture is used as the input, which leads to performance degradation. In order to overcome this limitation, we propose pitch classification using bidirectional LSTM. The probabilistic attention layer is also proposed to improve the bidirectional LSTM. Further, musical energy removal for segregation mask generation is also proposed in order to obtain naturally segregated speech with pitch classification. The experiment results show that the proposed pitch classification using bidirectional LSTM based on probabilistic attention outscores other speech segregation methods.

#음성분리 #피치 분류 #양방향 LSTM #확률적 어텐션 #speech segregation #pitch classification #bidirectional LSTM #probabilistic attention