Current Issue

문헌고찰은 기존 문헌의 연구 결과들을 정리하는 것이며, 크게 서술적 고찰과 체계적 고찰로 구분된다. 서술적 고찰은 전문가가 가진 식견을 통해 기존 문헌들을 고찰하고 이를 저자가 주관적인 관점으로 종합하는 것이다. 따라서, 문헌을 선정하는 과정 및 종합 등의 방법이 저자별로 다르고 체계적이지 않다는 문제점이 있으며, 이로 인해 주관적 오류의 가능성이 있다[9]. 반면, 체계적 고찰은 특정 연구 문제 또는 주제 영역 등과 관련된 모든 식별 가능한 연구를 이용하여 해석한다[10]. 또한, 체계적인 고찰 단계를 구성하여 각각의 단계와 과정에 대한 신뢰수준이 높으며, 객관적이고 검증 가능한 방법을 사용하여 연구 주제에 대한 검증이 가능하다[11].

본 연구에서는 앞서 언급한 체계적 고찰 방법의 장점을 반영하기 위해, 다수의 연구에 활용된 방법인 Kitchenham(2004)의 문헌고찰 방법을 활용하였다.

본 연구에서 활용한 Kitchenham(2004)의 문헌고찰 문헌 검색 및 선택 절차 방법은 [표 1]에 나타나 있다.

검색 및 1차 선택, 2차 선택, 최종 선택 총 3단계로 구성된다. 검색 및 1차 선택 단계에서는 문헌 검색 및 추출을 위해 문헌고찰 프로토콜을 개발한다. 이후 개발한 프로토콜을 바탕으로 검색을 진행하고, 제목과 초록을 통해 1차 문헌을 선택한다. 본 연구에서 개발한 문헌고찰 프로토콜은 다음과 같다: (i) 추천 시스템의 알고리즘 관련 내용이 아닌, 이론적 내용을 담은 학술 논문일 것, (ii) 사용자 관점에 대해 논의한 학술 논문일 것, (iii) 학술 데이터베이스에서 원문을 확인할 수 있는 학술 논문일 것. 이후, 2차 선택 단계에서는 문헌의 질과 연구와의 연관성을 고려하여 전체적인 내용을 바탕으로 2차 문헌을 선택한다. 마지막으로, 최종 선택 단계에서는 2차 선택된 문헌을 최종적으로 검토하고, 최종 문헌을 확정한다. 이후 최종 문헌의 참고문헌을 검토하여, 이 중 문헌의 질 및 연구와의 연관성이 적합한 일부를 추가 선택한다.

구체적인 연구 문헌 선정 방법에 따른 연구 대상 도출은 [그림 1]을 통해서 진행되었다. 연구 대상을 선정하는 과정에서 데이터베이스의 키워드 검색, 연구자의 검토 및 선별, 참고문헌 파악, 최종 선정 문헌 확인 등의 과정이 포함되었다. 먼저, 문헌 검색을 위한 대상 기간은 2012년부터 2022년으로 하였으며, 해외 문헌 검색을 위해 ACM Digital Library와 국내 문헌 검색을 위해 DBpia 데이터베이스를 활용하였다. ACM Digital Library에서는 추천 시스템의 최고 권위 학회인 Recsys 게재를 추가 조건으로 두고, ‘bias’, ‘user satisfaction’, ‘filter bubble’, ‘algorithmic user bias’, ‘diversity’, ‘user centric’ 총 6가지 키워드를 포함 조건으로 검색하였다. DBpia에서는 ‘추천 시스템’과 더불어, ‘편향’, ‘필터 버블’ 2가지 키워드를 포함 조건으로 검색하였다.

Fig. 1. 
Procedure for selecting research literature

*"This study used a couple of Korean keywords to search for domestic papers, and we included them as they are in this figure. “

본 조건을 통해 도출된 문헌이 총 134편이었으며, 이 중 제목과 초록 검토로 118편의 문헌을 제외하였다. 선택된 문헌들의 참고문헌 중 19편의 문헌을 추가로 선정하였고, 전체 선정 문헌 중 전문 검토로 3편의 문헌을 제외하였다. 이후 최종 분석 대상 문헌은 총 32편의 문헌을 선정하였다.

앞서 언급한 것처럼, 기존에는 추천 시스템의 평가를 위해 정확성만을 단일 관점으로 활용하였고, 이로 인해 편향 및 필터 버블이 발생하는 문제점이 있었다. 이러한 한계를 해결하기 위해, 본 연구에서는 [표 3] 내 Evaluation perspectives의 주제를 연구한 15편의 문헌을 상세 분석하여 총 네 가지의 추가 평가 관점을 개발하였다. [표 4]는 정확성을 포함한 총 5가지의 추천 시스템 평가 관점에 대해 제시한다.

정확성(Accuracy)은 추천 시스템이 사용자에게 추천한 아이템에 대한 실제 사용자의 평가를 얼마나 정확하게 예측하였는가에 관한 것이며, 실제 데이터와 추천된 결과 데이터를 비교함으로써 결과를 도출한다. 즉, 이는 추천 시스템의 단순한 성능을 평가하는 것이며, 추가로 Precision, Recall 등의 값도 활용될 수 있다.

다양성(Diversity)은 현재 추천 시스템이 사용자에게 추천한 아이템과 이전에 추천했던 아이템들 사이, 혹은 현재 추천한 아이템과 사용자의 기존 선호도에 따른 프로필 사이의 차이가 어느 정도인지에 관한 것이다[28]. 즉, 추천 시스템이 특정한 조건에만 치중되지 않고 다양한 아이템을 추천할 수 있는지의 능력을 평가하는 것이다.

롱테일(Long-tail)은 일반적인 추천에 많이 활용되는 인기 항목이 아닌 비인기 항목이 사용자에게 얼마나 많이 추천되었는가에 관한 것이다[17, 18]. 이는 소수의 사용자에게만 추천될 수 있는 소수의 비인기 항목을 얼마나 잘 추천할 수 있는가를 평가하는 것이다.

참신성(Novelty)과 우연성(Serendipity)은 모두 사용자에게 새로운 추천 항목을 제공한다는 점에서 공통점이 있다. 다만, 참신성은 기존 추천 결과 대비 얼마나 새로운 아이템을 추천할 수 있는지, 우연성은 사용자의 선호도 안에서의 예상치 못함을 중점으로 한다는 차이가 있다[28].

도출된 5가지의 평가 관점은 정확성을 제외한 다양성, 롱테일, 참신성, 우연성은 추천 시스템의 편향을 파악하는 데 활용될 수 있다. 예를 들어, 특정한 고객에게 추천을 제공하는 모델의 정확성이 높다 하더라도, 참신성과 우연성이 떨어진다면 해당 모델은 필터 버블의 문제를 겪고 있는 것으로 판단할 수 있다.

본 연구의 목적은 추천 시스템의 편향과 만족도 간 관계를 파악하는 것이다. 이를 위해, 앞서 3-2절에 도출된 추천 시스템의 평가 관점을 활용하여, 두 가지 방향의 분석을 진행하였다. 먼저, 기존 문헌의 상세 분석을 통해 평가 관점 간 관계성을 파악하였고, 이와 동시에 특정한 평가 관점 및 만족도 사이의 관계성을 파악하였다. 각각은 [표 5], [표 6]에 나타나 있다.

[표 5]에 나타나 있는 것처럼, 추천 시스템 내 다섯 가지 평가 관점 간 기존 연구 내 연관성을 확인할 수 있다. 예를 들어, R12 논문 내 발견되는 하나의 관계는 참신성이 다양성에 긍정적인 영향을 끼친다는 것이다. 또한, R20-2, R22-3은 특정한 조건(*) 하에서 발견되는 특징이다. 본 조건은 극단적인 Premise의 반영을 의미한다. 즉, 예를 들어 R20-2의 경우, 사용자에게 급격한 다양성을 고려한 추천은 정확도에 부정적인 영향을 끼친다는 것을 의미한다. 이 외에 다양한 관계들이 발견되며 주요한 관점 간 분석은 [그림 3]에 나타나 있다.

Fig. 3. 
Relationship between the evaluation perspective and satisfaction of the recommendation system

[표 6]은 추천 시스템 평가 관점과 사용자 만족도 간 관계를 나타낸다. 관점은 추천 시스템 내 다섯 가지 평가 관점을 의미하며, 사용자 만족도는 사용자 선호도 등을 포함한 일반적 의미를 뜻한다. [표 5]와 마찬가지로, R7-2, R12-1, R13-3, R13-4는 평가 관점의 정도가 극단적으로 올라갔을 때(*)에 따른 사용자 만족도와의 관계를 의미한다. 또한, R8-1, R29-1은 대체로 관계성을 갖는다는 것을 의미하며, 때때로는 반대로 작용한다는 의미이다.

본 추천 시스템 간 관계 및 만족도 간 관계를 요약한 결과는 [그림 3]과 같다. 이 중 우리는 세 가지의 주요한 관계성을 파악할 수 있다. 첫째, 참신성이 우연성에 영향을 주고, 우연성이 만족도에 직접적인 영향을 미친다[7, 8, 13, 22, 26, 27, 34, 41]. 둘째, 다양성이 만족도에 직접적인 영향을 미친다[12, 13, 20, 34, 38, 41]. 셋째, 정확도와 다양성은 반비례 관계이다[7, 13, 34]. 이와 더불어, 만족도에 긍정적 영향을 미치는 평가 관점은 정확성, 다양성, 참신성, 우연성 4가지가 있었다. 그 중, 정확성, 참신성, 우연성은 일정 수치 이상을 가지게 되면(***) 만족도가 감소하게 된다[6, 13, 22, 27, 40].

추천 시스템의 평가 관점 간 관계, 사용자 만족도와의 관계와 더불어 연구 문헌 분석 내 추가적인 도출 결과는 추천 시스템이 사용자의 특성에 따라 차별적으로 작동될 수 있다는 것이다. 이와 관련하여, 사용자의 특성과 추천 시스템 평가 관점 및 사용자 만족도와의 관계를 분석하였고, 이는 [표 7]에 나타나 있다.

구체적으로, 사용자의 나이, 성별 등의 인구 통계학적 요소와 호기심, 개방성, 수용도 등의 여러 특성을 고려하였으며, 이 중 주요한 영향 관계로는 4가지를 확인할 수 있었다.

첫째, 사용자의 추천 아이템에 대한 수용도가 높아지면, 추천 아이템의 다양성이 향상한다. 이에 따라 사용자의 추천 아이템에 대한 만족도가 상승하는 효과가 있다[25].

둘째, 사용자의 나이가 많을수록 더 다양한 것에 더욱 만족하는 경향이 있다[16]. 셋째, 사용자의 호기심이 클수록 다양성, 우연성, 참신성의 효과가 좋다[6, 7, 16]. 넷째, 인기 항목 자체에 관한 관심이 적은 사용자일수록 인기 항목 편향이 미치는 영향이 크며, 이는 사용자의 만족도에 영향을 미친다[17, 18, 30].

본 연구에서 설정한 세 가지 연구 질문에 대하여, 앞서 3장에서 제시한 문헌 분석 결과를 정리한 결과를 제공한다.

먼저, 첫 번째 연구 질문은 추천 시스템의 편향을 파악할 수 있는 평가 관점에 대한 유무이다. 본 연구에서 파악한 추천 시스템의 주요 평가 관점은 정확성, 다양성, 롱테일, 참신성, 우연성 총 5가지이다. 앞서 언급한 것처럼, 정확성은 추천 아이템의 정확도에 대한 것이며, 나머지 4개는 모두 사용자 관점에서 추천 아이템의 새로움 즉, 편향에 관한 것이다. 편향은 특정한 사용자 혹은 주제에 극도로 치중하는 것을 의미하며, 이에 따라 정확성이 매우 높은 상태가 된다. 또한, 편향은 다양성 및 롱테일을 감소시키며, 다양성 감소는 우연성 및 참신성을 감소시키는 경향이 있다. 즉, 전체 5개의 평가 관점 중 대체로 정확성과 다른 4개의 지표는 반비례 관계를 갖고, 이에 따라 편향을 파악할 수 있는 평가 관점으로 활용할 수 있다.

두 번째 연구 질문은 추천 시스템의 편향과 사용자 만족도 간 연관성에 대한 관계이다. 앞서 언급한 것처럼, 추천 시스템의 편향이 심해지면 사용자의 기존 선택들, 사용자 프로필에 유사한 것만 추천하는 필터 버블로 이어진다. 그렇게 되면, 정확성이 과도하게 높아지게 되고, 다양성이 매우 낮아지게 된다. 이에 따라 만족도가 감소한다. 따라서, 추천 아이템의 편향이 사용자의 만족도에 유의미한 영향을 미친다. 또한, 사용자의 특성에 따라 정도가 달라질 수 있다. 나이가 많을수록 추천 아이템의 다양성이 만족도에 미치는 영향이 크다. 또한, 호기심이 많을수록 우연히 취향에 적합한 아이템을 추천받았을 때 더 만족하는 우연성 효과가 크다.

마지막 연구 질문은 편향 완화 및 사용자 만족도 향상을 위한 접근법의 제시이다. 편향 완화를 위해 주요 5가지 평가 관점이 논의되었다. 이 중, 다양성 향상을 통한 만족도 향상의 방법이 가장 주로 논의되는 방향이다. 이는 참신성과 우연성과 관련이 있다. 참신성과 우연성은 다양성과 긍정적인 영향 관계이므로, 이 둘을 조절하여 적절한 수준의 다양성을 고려하는 것이 중요하다. 또한, 사용자의 만족도는 사용자의 특성에 따라 달라지는 경향이 있다. 수용도는 다양성에 긍정적인 영향을 미치며, 수용도가 높은 경우 만족도가 높다. 호기심은 다양성, 참신성, 우연성에 긍정적인 영향을 미치며, 인기 항목에 대한 관심도가 낮을수록 인기 항목 편향의 영향을 많이 받는다. 평가 관점이 만족도에 영향을 미치지만, 이는 사용자 개인이 가진 평가 관점별 선호도에 따라 그 정도는 달라질 수 있다는 것이다.

추천 알고리즘이 발전함에 따라 편향의 문제점이 대두되고 있다. 추천 시스템의 편향은 크게 인기 항목 편향과 사용자 편향 두 가지로 나누어진다. 편향 완화를 위해 정확성 외의 다양성, 롱테일, 참신성, 우연성 총 4가지 추천 시스템의 평가 관점이 논의되었다. 이 중 정확성, 다양성, 우연성은 사용자의 만족도에 직접적 영향을 미치는 요소임을 확인했다. 편향이란 정확성이 매우 높은 것을 의미하며, 이는 반비례 관계인 다양성을 매우 낮은 수치로 이끈다. 이에 따라 만족도가 낮아지는 결론에 다다른다. 따라서 편향이 만족도에 유의미한 영향을 미치는 것을 알 수 있다.

또한, 이는 사용자의 특성에 따라 영향의 정도가 달라진다. 특성으로는 수용도, 나이, 호기심, 선호도 등이 있으며, 이를 고려하여 다양성의 정도를 조절함으로써 사용자별 더욱 효과적인 만족도 향상에 도움이 될 수 있다. 더 나아가, 편향 완화를 통한 만족도 향상을 위해 이와 관련한 방향성에 대한 고민이 필요하다. Exploration은 새로운 가치를 찾아내기 위해 기존과는 다른 새로운 추천을 하는 것으로, 이를 통해 다양성을 증가시킬 수 있다. 또한, Exploitation은 고객의 평가 결과 등의 데이터를 통해 학습한 결과를 추천하는 것이다. 추천 시스템의 편향을 완화하며 동시에 사용자의 만족도를 높이기 위해서는 Exploration과 Exploitation의 적절한 균형이 중요하다. 이는 MAB(Multi-Armed Bandit) 알고리즘[43]을 통해 가능한데, MAB을 활용하면 개별 사용자에게 맞는 균형을 정할 수 있고, 장기적으로 추천 알고리즘의 발전에 도움이 될 수 있다.