I. 서론

최근 들어 대화 시 얼마나 집중해야 언어를 인지할 수 있는가에 대한 연구가 진행되고 있다. 동일한 환경에서 나이가 들수록 언어 인지에 노력이 필요한 경우에 대한 평가나 [1] 보청기 및 인공와우와 같은 청각보조기기의 소음 감쇠기능, 방향성 마이크로폰 등의 최신 기술의 사용시 언어인지가 얼마나 더 용이한가를 평가하기도 한다[2]. 청취 노력은 청자가 청취에 집중하기 위하여 발생하는 신체적, 정신적 노력을 의미한다. 이러한 언어 인지에 필요한 노력도, 즉 청취 노력도(listening effort)는 언어 청취를 위해 생리학적 재원(physiological resource)의 사용 빈도, 집중도(listening load), 또한 청취를 위한 스트레스(listening-related fatigue) 정도를 표현해주고 있다. 언어 이해도 평가시 주로 사용되는 문장 이해 평가(sentence recognition test)는 주어진 상황에서 제시된 문장의 정확도 점수를 비교하나 청취 노력도는 정확도 점수가 비슷한 수준에서 언어 청취를 위한 노력도를 평가하는 방식으로 진행된다[3]. 이러한 청취 노력도는 유의한 수준의 문장 이해 정확도 결과를 도출하는 경우에 조건, 환경, 청각 보조기기 처리 방식 등에 따른 언어인지를 평가할 수 있는 다른 평가 지표로 활용되고 있다. 유사한 언어 이해도를 보이더라도 더 많은 청취 노력도가 필요하다면, 청취에 따른 피로도가 증가하기 때문에 난청인 또는 고령자에게서는 반드시 고려해야 될 부분이 된다. 또한, 다양한 보청기의 성능 평가 및 보청기의 적합화 평가에서 어음 인지도와 청취 노력도를 고려하여야 한다.

청취노력도를측정하기위한방법으로는주관적인(subjective) 측정 방법, 행동 반응 측정(task-response) 방법, 생체신호 기반(biosignal) 측정 방법 등이 있다. 주관적인 측정 방법은 청취 노력도를 측정하는 가장 보편적인 방법으로 설문에 따른 피험자의 주관적인 청취 노력도를 측정하게 된다[4]. 또한, 언어 청취 중 다양한 물체에 대한 추적 수행 결과나 반응 시간 측정 등에 기반하여 청취 노력도를 예측하기도 한다[2,5]. 객관적인 측정 방식인 생체신호기반 측정 방법은 심박수, 피부전도도, 근전도, 뇌파, 동공크기를 측정하여 언어 인지에 대한 스트레스나 청력 노력도를 예측하고 있다[6-8]. 최근 연구들에서는 피부전도도가 스트레스에 대한 상관관계가 높은 심리생리학적 요소로 나타난 반면, 체온이나 심박동수는 주요 관계 미미하다고 평가되고 있다[6]. 그러나 심박동수의 시간에 따른 변화를 나타내는 심박변이도는 심박동수와는 다르게 피로 및 스트레스 정도를 검사하는 수단으로 사용되며, 주파수 및 시간 영역에서 계산된 심박변이도 지표를 사용하고 있다[9]. 이에 본 연구에서는 심박변이도가 청취 노력도를 측정할 수 있는 지표로 사용할 수 있는지에 대하여 평가하고자 한다. 평가를 위하여 청취 노력도가 필요한 다양한 환경에서 문장을 제시하고, 표준 전극 방식에 기반한 심박 신호를 측정한다. 청취 노력도 환경에 따른 측정된 심박신호의 심박변이도 지표를 분석하여, 최종적으로 청취 노력도를 측정할 수 있는 효과적인 심박변이도 지표를 제시하고자 한다.

II. 연구 방법

본 연구에서 청취 노력도를 측정하기 위한 자극으로는 240개의 문장으로 구성된 한국어 노이즈 환경 청각 테스트 문장(K-HINT, Korean Hearing in Noise Test[10])을 사용하였다. 문장은 소음이 통제되는 측정실(sound proof room)에서 피험자와 1 m 떨어진 거리에서 자극으로 주어지게 된다. 피험자의 중심선을 기준으로 좌우 ±30^o 의 위치에 각각 스피커를 위치하였으며, 소리의 크기는 대략 70 dB SPL 크기 범위 내에서 피험자가 편안히 들을 수 있도록 설정하였다. 피험자는 문장을 듣고, 문장을 따라 말하고, 말한 음성은 마이크를 통해 외부에서 청취하여, 음절단위로 듣기 정확도를 계산한다. 다양한 환경에서의 청취 노력도를 측정하기 위하여, 본 연구에서는 문장 소리 자극시 babble noise를 추가하였다. 청취 노력도는 표 1과 같이 노이즈가 전혀 없을 때 (Non), 낮은 노이즈 제시시(12 dB SNR) (Low), 높은 노이 즈 제시시(6 dB SNR) (High) 3 세션으로 나누어 측정하였다. 노이즈의 레벨은 피험자가 청취시 문장의 음절단위 듣기 정확도가 99% 이상인, 대부분 정확한 청취를 할 수 있는 수준으로 정하였다. 본 임상데이터 측정에는 총 9명(여성 2명, 남성 7명)의 건청인이 참가하였다. 그림 1은 자극 조건 순서 및 각 조건에서 소음 및 K-HINT 문장 제시 방법을 도식화하여 보여주고 있다. 10분간 생체신호의 기저수준(baseline)을 측정하였고, 소음이 없는 경우, 낮은 소음인 경우, 높은 소음인 경우의 순서로 진행하였다. 이는 테스트의 숙련에 의한 효과로 발생할 수 있는 조건별 심박변이도 차이가 최소화될 수 있도록 순서를 정하였다. 각 경우의 사이는 피험자가 안정을 취할 수 있도록 5분간 휴식을 할 수 있도록 하였다. 각 조건에서는 1초간 무소음, 노이즈 제시 후 1초후 K-HINT 문장 제시, 이후 5초 간 피험자가 제시된 문장을 따라 말하도록 하였다. 피험자가 말한 음성은 마이크를 통해 측정실 외부에서 청취하여 전체 문장 음절에서 정확히 말한 음절 비율을 평가하여 정확도를 계산하였다. 각 조건에서는 80문장을 제시하여 조건에 따른 심박변이도를 측정 할 수 있도록 하였다. 80문장은 K-HINT의 240개 문장에서 중복되지 않도록 무작위로 추출하여 제시하였다. 본 문장 청취시 심박변이도 계산을 위한 심전도를 측정하였다. 심전도는 표준 전극방법을 이용한 3개의 전극을 몸에 부착하여 심전도 측정기(Shimmer3 ECG, Shimmer Co., Ireland)를 이용하여 측정하였다. 자극 및 측정에 관한 데이터 수집은 연구에 참여하는 피험자에게 방법 및 절차를 설명하고 동의를 얻은 후 진행하였다.

표 1. 청취 노력도 측정을 위한 문장 자극 프로토콜

Table 1. Sentence stimulation conditions to evaluate listening efforts

그림 1. 자극 조건 순서 및 소음과 K-HINT 자극 방식 전체 개략도.

Fig. 1. Schemes for stimulus-noise condition and experimental setup.

본 연구에서는 측정된 심전도를 이용하여 시간영역 및 주파수 영역의 심박변이도 지표를 측정 분석하였다(표 2). 시간영역의 심박변이도 지표로는 평균 NN 간격(또는 RR 간격) (Mean NN), NN 간격의 표준편차(standard deviation of NN interval, SDNN), 평균 심박수(mean heart beat rate, Mean HR), 연속적인 NN interval의 평균 제곱 제곱근(root mean square of successive difference of NN interval, RMSSD), 50 ms 보다 긴 차이를 보이는 연속적인 NN interval의 수(NN50), Poincare의 긴시간동안의 표준편차(SD2)를 사용하였다[11]. 주파수 영역의 심박변이도 지표는 저주파 영역대 파워(low-frequency power, LF), 저주파-고주파 영역대 파워 비(ratio between absolute power of LF and HF band, LF/HF)를 사용하였다. 위의 심박변이도 지표는 심박변이도 분석 프로그램 Kubios HRV(KUBIOS Ltd., Finland)으로 계산하였다[9].

표 2. 시간 및 주파수 대역 심박변이도 지표

Table 2. Temporal and spectral heart rate variabilities

III. 연구 결과

그림 2는 문장 청취시 안정된 상태(rest), 노이즈가 없는 경우(non), 낮은 수준의 노이즈가 노출된 경우(low, 12 dB SNR), 높은 수준의 노이즈가 노출된 경우(high, 6 dB SNR)의 각각의 경우에 시간 영역에서 계산된 심박변이도 지표와 주파수 영역에서 계산된 심박변이도 지표 변화를 나타내고 있다. 그래프 내의 각각의 기호는 서로 다른 피험자의 측정 데이터를 나타낸다. 시간 영역에서 계산된 심박변이도 지표는 평균 NN 간격(mean NN), NNR 간격의 표준편차(SDNN), 평균 심박수(mean HR), 연속적인 NN 간격의 평균 제곱의 제곱근(RMSSD), 50 ms 보다 긴 NN 간격 수(NN50), SD2를 계산하여 표현하였다. 각각의 그래프에서는 청취 노력도가 필요한 경우에 따라 심박변이도 지표값의 변화가 다양함을 보이고 있다. Mean NN, mean HR 및 RMSSD의 경우 노이즈 SNR 값에 따른 상관 관계가 뚜렷하지 않은 반면, 노이즈 SNR 값이 증가할수록 SDNN, NN50, SD2의 값은 증가함을 보이고 있다. 그림 2의 아래 패널은 문장 청취시 노이즈 증가에 따른 주파수 영역에서 계산된 주파수 대역별 파워의 비(LF/HF)와 저주파 대역 파워를 피험자별로 보여주고 있다. 저주파(0.04-0.15 Hz) 대역의 파워를 나타내는 심박변이도 지표 LF는 노이즈 SNR 값이 증가할수록 전반적으로 증가하는 경향을 보이고 있다.

그림 2. 안정시(Rest), 문장 청취시 무소음(Non), 작은 소음(12 dB SNR) (Low), 큰 소음(6 dB SNR) (High) 조건에 따른 시간 영역과 주파수 영역 심박변이도 지표.

Fig. 2. Temporal and spectral heart rate variabilities in different hearing effort cases of rest, no-noise (Non), lownoise (12 dB SNR) (Low), and high-noise (6 dB SNR) (High) conditions.

그림 3은 그림 2에서 보여준 시간 영역대 및 주파수 영역대의 심박변이도 지표 중 노이즈 조건에 따라서 유의미한 차이를 보여준 SDNN, NN50, LF, SD2를 나타내고 있다. 각 패널은 그룹 데이터를 박스 그래프로 나타내었으며, 각각의 조건에 따른 심박변이도 지표간의 paired t-Test 한 결과를 보여주고 있다(*: p<0.05, **: p<0.01). 또한, 전체적인 경향에 대한 분석을 위하여 4가지 조건에 대한 ANOVA Test를 실시한 결과를 보여주고 있다(+: p<0.001). 심박변이도를 나타내는 4개의 지표 모두 rest 상태, 노이즈가 없는 문장 청취시, 6 dB SNR 문장 청취시, 12 dB SNR 문장 청취시 유의미한 차이를 보여주고 있다. 또한, ANOVA 테스트 결과 SNR 비가 낮은 문장 청취 시, 즉, 청취 노력도가 많이 필요로 하는 경우에 심박변이도 지표 SDNN, NN50, LF, SD2 모두 유의미하게 증가함을 알 수 있다.

그림 3. 문장 청취시 소음 정도에 따른 심박변이도 지표 변화.

Fig. 3. HRV variation in different listening conditions. *: p < 0.05 and **: p < 0.01 denote paired t-Test results. +: p<0.001 denotes repeated ANOVA test result.

피험자 별로 안정된 상태의 심박변이도 지표를 기준으로 정규화된 심박변이도 지표값은 그림 4와 같다. 각 개인별 청취 소음 정도에 따른 정규화된 심박변이도 지표는 회색 실선으로 표시하였다. 또한, 각 그래프의 검은색 실선은 조건별 간격을 1로 가정하에 계산된 정규화된 개인별 데이터의 선형 회귀 결과를 보여주고 있다. 1명(S9)의 피험자의 경우 소음의 정도가 낮은 경우에 심박변이도 값이 상대적으로 낮게 측정되었으며, 이를 제외한 데이터에서는 전반적으로 안정된 상태 기준 심박변이도 지표값이 증가함을 보이고 있다. 또한, 문장 청취시 소음의 정도가 커질수록 정규화된 심박변이도 지표는 증가하는 추세(slope>0)를 보여주고 있다.

그림 4. 문장 청취시 소음 정도에 따른 안정된 상태 기준에 기반한 문장 청취시 심박변이도 지표.

Fig. 4. Normalized heart rate variabilitie.

IV. 결론 및 토의

본 연구에서는 SDNN, NN50, LF, SD2의 심박변이도 지표가 청취 노력도를 예측할 수 있는 생체신호로 판단되었다. 기저상태, 소음이 없는 문장청취 시, 약한 소음이 있는 문장 청취 시에 심박변이도 지표는 유의미하게 증가하는 경향을 보여주었다. 따라서, 본 연구결과 심박변이도는 청취 노력도를 평가할 수 있는 객관적인 생체신호로 가능함을 알 수 있었다.

청취 노력도의 수준을 본 연구에서는 배경 소음으로 그 수준을 조절하였다. 그러나 소음으로 인한 스트레스로 심박변이도의 변화가 생길 수 있기 때문에, 소음 스트레스에 인한 청취 노력도 측정의 간섭을 고려할 수 있다[12]. 본 연구에서는 문장제시 짧은 시간(<3 s)동안의 소음 노출을 하여 소음 스트레스 간섭을 최소화하고자 하였으나, 추후 이에 대하여 음성의 복호화(vocoded) 자극을 사용하는 등의 소음에 의한 피로도를 최소화할 수 있도록 실험 구성하는 것이 필요하다. 또한, 일반적 인지 스트레스 연구들은 스트레스를 받는 동안은 LF/HF 및 LF 값은 증가하고, SDNN, RMSSD는 감소하는 것으로 보고되고 있다[13]. 그러나, 본 연구에서는 LF/HF 및 LF 값의 경향은 일치하나 SDNN, RMSSD는 반대의 경향을 보이고 있다. 추후 청취 노력도와 일반적 인지 스트레스와의 비교 실험을 통하여 청취 노력도와 인지 스트레스에 따른 자율신경계 반응의 차이를 보여주는 것이 필요하다.

보청기 및 인공와우는 노이즈 환경에서 언어인지도가 현저히 낮아지는 단점이 있다. 이러한 단점을 보완하고자, 보청기 또는 인공와우의 시스템의 신호처리 알고리즘을 개선하여 청각 인지도를 높이고자 하는 다양한 연구들이 진행 중이다. Picou와 Ricketts(2019)는 보청기의 빔포밍(beamforming) 마이크로 폰의 효과에 대하여 문장 인지 점수를 활용하여 평가하였다[14]. Reed et al.(2017)는 최근 보청기의 용도로 사용할 수 있는 저가의 개인용 소리 증폭기기의 효과에 대하여 언어 이해도 테스트를 활용하여 평가하였다[15]. 그러나, 이러한 연구들은 언어 이해도 점수만을 반영한 평가이며, 언어 이해과정에서 사용자의 스트레스 또는 청취 노력도에 대한 평가를 반영하지 않았다. 최근 들어 사용자의 스트레스 또는 청취 노력도는 청각 평가에 있어 그 중요성과 관심이 증대되고 있다[3]. 따라서, 언어 이해도 테스트와 함께 청취 노력도의 측정은 청각 기기 시스템 및 신호처리 알고리즘 평가를 위한 방식으로 필요하다.

청취 노력도를 평가하기 위하여 심박수, 피부전도도, 근전도, 뇌파, 동공크기 등 생체 신호에 기반한 다양한 객관적 측정 방법에 관하여 연구를 진행하고 있다. 심전도 측정은 동공크기 및 뇌파의 측정에 비하여 비교적 측정이 용이한 장점이 있다. 또한, 피부전도도는 시간에 따른 급격한 변화가 이어, 문장자극과 같은 긴 자극의 분석에 용이하지 않은 단점이 있다. 따라서, 다양한 생체 신호에 기반하여 예측된 청취 노력도는 정확성을 향상 시킬 수 있으리라 기대한다.

본 연구에서는 다양한 심박변이도 지표 중 사전 테스트를 통해 선정한 8 종류의 시간영역 및 주파수 영역의 지표에 기반하여 연구를 진행하였다. 또한, 본 연구에서는 제한된 수의 정상 청력인을 대상으로 심전도를 측정하여 심박변이도를 이용한 청취 노력도 예측의 가능성을 보여주었다. 따라서, 추후 다양한 조건에서 정상인 및 난청인 임상 데이터를 확보하고, 다양한 시간영역 및 주파수영역 심박변이도 지표에 기반한 청취 노력도 평가 연구를 진행할 계획이다.