정보학(informatics)은 비교적 신생 학문이다. Shannon이 1948년 “A Mathematical Theory of Communication”이라는 역사적인 논문에서 정보전달용량의 단위와 그 수학적인 정의를 발표한 이래, 정보학은 꾸준히 발전하여 1990년대에는 학문의 한 갈래로서 자리 잡기 시작했고 근래에 이르러는 컴퓨터과학, 정보통신기술 등 공학기술뿐 아니라, 언어학, 경제학, 경영학, 인지과학, 의학 및 보건학 등 의사소통과 의사결정과정이 개입되는 다양한 학문 분야로 파생 발전하고 있다(1).

영상의학 분야에서는 picture archiving and communication system (이하 PACS) 개발이 1980년대에 시작되고, 1990년대에 보급이 이루어지면서 PACS의 미래 활용에 관한 논의가 관련 학회를 중심으로 전개되어, 방사선 정보학(radiology informatics) 또는 영상정보학(imaging informatics)이라는 개념이 토대를 잡게 되었다. 이후 미국에서는 2006년에 Society of Imaging Informatics 학회가 만들어졌고(Society of Computer Application in Radiology에서 개명), 한국에서는 2007년 Korean Society of Imaging Informatics 학회가 만들어져 집단적인 학술활동이 촉진되었다(대한 PACS 학회에서 개명) (2).

Roentgen의 X-선 발견은 물질과 방사선간의 상호작용을 통해 물체 내부에 숨겨져 있던 구조적인 정보를 눈으로 볼 수 있게 해주는 혁명적인 길을 터 주었으나, 그 정보는 필름 감광물질의 분자구조에 다시금 갇힌 상태에 머물러 있었으므로, 오랫동안 방사선의학은 인간의 시각적 관찰과 언어기호적 변환 및 해석이라는 과정에 의존하여 발전해 올 수밖에 없었다.

‘필름 없는 방사선학’을 가능케 한 PACS 체계는 방사선학 검사의 모든 영상 정보를 물질의 구속에서 분리하여 디지털 세계로 전환시키고 저장, 전달, 처리를 가능하게 함으로써 여타 분야에서 발전하고 있던 ‘정보학’의 기법과 학문적 틀을 용이하게 수용할 수 있게 해주었다. 마침 유전체학분야에서 정립된 다양한 정보분석기법과 공개 빅데이터 구축 노력들이 만나면서 2010년 중반 경부터 영상정보학의 중요성이 새로이 조명되기 시작하였다.

영상정보학을 보다 큰 범위인 정보학의 한 갈래로 볼 때, 정보학의 정체성과 요체를 공유한다고 할 것이다. 정보학은 컴퓨터 및 정보통신기술에 기반을 두지만, 기술 자체보다는 기술과 사람-조직간에 정보소통을 통해 일어나는 상호작용과 변화에 중점을 둔다는 측면에서 컴퓨터과학과는 차별된다(1). 정보학의 요체는 데이터의 수집, 추출을 통하여 공통 활용이 가능한 지식을 발전시키는 것과, 그러한 지식을 관리하는 정보시스템과의 적절한 상호작용을 통해 조직적인 행동의 성과를 향상시키는 것이라 하겠다(1).

이러한 배경하에서 영상정보학은 PACS의 탄생 과정에서 수립된 영상 데이터의 형식과 전송 규격을 바탕으로, 디지털 영상 데이터로부터 상위 가치의 정보와 지식을 추출, 분석, 향상, 교환하는 방법과 그 영상의학적 응용을 연구하는 학문으로 정의할 수 있다.

어떤 분야에서 정보학이 성립하는데 토대가 되는 것은 표준화된 디지털 데이터의 수집과 데이터베이스 구축으로서, 그 토대가 견고할수록 정보학의 깊이와 범위가 커지는 것은 자명한 일이다. 이 점에서 영상의학계에 일찌감치 digital imaging and communications in medicine (이하 DICOM) 표준에 기초한 PACS가 구축되어 있었다는 것은 다행한 일이요 영상정보학의 발전을 위한 훌륭한 자산이라 아니할 수 없다(3).

2001년 최초의 인간 유전체 데이터의 초안 발표에 따라 유전체, 단백체, 대사체 등 대량의 정량적 생물 분자 데이터의 획득이 활기를 띠게 되었고, 이로부터 의미 있는 정보 추출을 가능케 해주는 정보학적 방법들이 수립됨에 따라 생물학과 기초의학의 많은 연구는 데이터 과학으로의 전환이 시작되었다. 이러한 배경하에 영상의학 분야에서도 고도화된 정보학적 기법을 접목하고자 하는 시도들이 이루어지면서 영상유전체학 및 방사선영상체학 등 새로운 학문 분야가 파생되었다(4, 5).

인간 유전체 프로젝트와 함께 마이크로어레이 기술이 발달함에 따라 종양의 조직검사 표본으로부터 값싸고 용이하게 대량의 유전자 발현 데이터를 얻는 것이 가능하게 되었고, 정보학적 기법을 통한 데이터 분석 결과로 종양 내 유전적 변이의 종류와 패턴이 매우 다양함을 알게 되면서 종양의 진단과 치료 기준이 새로 정립되는 변화가 일어났다. 영상유전체학은 종양의 분자아형적 지식이 정립되는 과정에서, 기존 조직검사에 의한 유전형 분석이 갖는 한계점을 영상정보로 보완하는 역할을 추구하면서 태동되었다(5).

조직검사는 종양의 일부를 채취하게 되므로 종양 내 유전변이의 이질성을 반영하기 어렵다는 한계점이 있는 반면, 단층 영상검사에서는 종양 전체를 용이하게 관찰할 수 있으며, 조직검사로서는 파악이 곤란한 종양 유전변이의 시간적 변화를 추적하는 것도 가능한 장점이 있다. 또한 유전형과 표현형은 동전의 양면과 같은 것이므로, 종양 내 유전변이와 유전자 발현의 차이의 결과는 단층 영상 내에서 영상표현형으로 나타날 것이라는 가정이 영상유전체학의 출발점이 되었다(5, 6).

Fig. 1에 영상유전체학의 연구 절차를 나타내었다. 영상유전체학은 기본적으로 종양 특이적 유전형과 연관성이 높으며 임상적 유효성이 있는 영상표현형(imaging phenotype)의 특질(trait)을 발굴하는 것이다. 영상유전체학 연구의 첫 단계에서는 수만 개에 이르는 마이크로어레이의 유전자 발현 정보 중에서 대상 종양에 특이적으로 발현하는 유전자 집합 또는 표적 분자의 유전자를 선별한다. 유전자 집합을 사용할 때는 개별 유전자의 변이성을 극복하기 위해 유전자 집합 농축(gene set enrichment) 등의 기법을 사용한다(7). 다음으로 이들과 짝을 이룰 영상 특질 후보들을 선별하게 되는데, 수집된 대표적 영상 집합으로부터 전문가 패널에서 영상 특질의 목록을 만들고 특질의 정의와 채점 방식을 수립한다. 이렇게 유전형 및 표현형의 후보 목록이 만들어지면 이들간의 연관성을 발굴하는 과정으로 이어진다. 이때 후보간의 통계적 상관성 계산, 비지도식 계층적 클러스터링 분석 등 정보학적 기법이 적용되어 통계적 유의성이 높게 연관된 짝을 찾아내게 된다. 마지막으로 연관성이 확인된 유전형 특징 및 영상 특질 각각을 이용하여 예후 예측 또는 치료 반응 등에 관한 생존 분석을 하여 대리 표지자로서의 영상 특질의 성능을 조사한다(6). Table 1에 영상유전체학 연구에서 사용된 영상 특질의 정의와 채점 방식의 예를 나타내었다.

Fig. 1
The figure illustrates a typical analytics procedure in radiogenomics research.

• Click for larger image
• Download as PowerPoint slide

Table 1
Examples of Imaging Phenotype Traits for Radiogenomic Analysis

• Click for larger image
• Click for full table
• Download as Excel file

Segal 등(6)은 2007년 최초로 통합적 영상유전체학적 접근법을 도입하여 간세포암 CT에서 doxorubicin 약물반응 유전자발현과 연관된 영상표현형 특질(imaging phenotype trait)을 식별하는 연구를 발표했고, 영상유전체학적 분석법이 개별적 종양의 치료법 선택에 활용될 수 있음을 시사했다. 다른 연구에서는 아교모세포종(glioblastoma multiforme) MR에서 관찰되는 조영증강과 종괴 효과(mass effect)가 DNA 마이크로어레이에서의 저산소증(hypoxia)과 증식에 관여하는 유전자 클러스터와 각각 연관됨이 보고되었고, 추가적으로 종양조직의 EGFR 과발현이 대조도-괴사 비율과 연관성이 있음이 알려졌다(9).

이후 여러 연구에서 영상유전체학은 비소세포폐암에서의 예후 예측에 연관된 CT 영상표현형 특질 발굴에 활용되고, 유방암의 내강형 B 아형과 연관된 조영증강 MR 패턴을 발굴하는데 활용되는 등 다양한 암 연구에서 그 가능성이 확인되었다(10, 11, 12). Table 2에 영상유전체학 발전의 토대가 된 초기 논문 중 일부를 나열하였다.

Table 2
Selected Papers Published at an Early Stage of Radiogenomics Development

• Click for larger image
• Click for full table
• Download as Excel file

영상유전체학은 종양조직의 마이크로어레이 데이터와 영상이 쌍을 이룬 데이터를 가지고 있어야 연구를 시작할 수 있어서 연구자들의 참여가 어렵다는 제한점이 있었다. 그러나 근래에는 미국국립보건원에서 암 유전체 지도(The Cancer Genome Atlas; 이하 TCGA) 프로젝트에 사용된 유전체 데이터 중 상당수에 대해 CT, MRI 등 영상 데이터를 매칭하여 공개하고 있어 보다 활발한 연구 촉진이 기대된다(17).

TCGA 데이터에는 임상 진단 및 치료 과정, 병리학적 진단, 종양 발생 부위, 수술 방법 등과 같은 임상정보와 더불어, 유전자 발현, RNA 서열, 염색체 숫자, 종양 이질성, DNA 메틸레이선 패턴, miRNA 발현, DNA 서열, 단백질과 인단백질 발현과 같은 유전체 정보, 그리고 CT/MRI/PET 등의 영상 정보가 포함되어 있다. 암의 종류로는 뇌종양, 폐암, 신장암, 전립선암, 유방암 등 다양한 암의 데이터가 등록되어 있다(17).

영상유전체학에서는 주된 목표가 암 유전체학을 통해 알려진 분자표지자의 대리 영상표지자를 찾아내는 것이었다. 그러나 때로는 분자표지자가 반드시 효과가 높은 것이 아니고, 조직표본이 종양 이질성을 대변하지 못하는 문제 등으로 인해 영상유전체학을 통해 발굴된 대리 영상표지자의 효과를 보장하지 못할 가능성이 있다. 방사선영상체학은 이러한 문제의식을 기반으로 하여 종양유전체 데이터 유무에 무관하게 영상표현형으로부터 실질적인 진단, 예후 예측, 치료방침 결정 등에 필요한 정량적 영상표지자를 발굴하고자 접근한다(18).

이러한 배경에서 방사선영상체학은 선별된 군의 종양 영상 데이터로부터 다량의 정량적 영상 특징을 추출하고, 오믹스 연구에서 활용되는 일련의 데이터 분석기법들을 적용하여 질병의 특성화를 시도한다. 보다 구체적으로, 방사선영상체학에서는 데이터 수집에서 시작하여 관심영역 지정, 영역의 분할, 다량의 특징추출, 추출된 특징들의 품질평가, 특징 클러스터화 및 선별, 분류 모델의 훈련, 통계 검정 등의 과정을 거쳐 목적에 맞는 특징 세트와 모델을 수립하게 된다(18, 19). Fig. 2에 전형적인 방사선영상체학 연구에서의 데이터 분석 절차를 예시하였다.

Fig. 2
The figure shows an example of analysis procedure in radiomics research. Adapted from Lao et al. Sci Rep 2017;7:10353 (26).

• Click for larger image
• Download as PowerPoint slide

분할

분할은 방사선영상체학에서 가장 중요하면서도 어려우며 또 논쟁이 되는 과정이다. 대량의 영상특징 추출들은 바로 분할된 관심영역에서 얻어지기 때문에, 분할은 정확하고 재현성이 높게 이루어지는 것이 중요하다. 따라서 방사선영상체학 연구에서는 어떤 분할 방법을 사용했는지, 그리고 그 방법의 정확성과 신뢰성을 어떻게 평가했는지에 대해 기술하도록 되어있다.

관심영역의 분할은 사람이 수작업으로 하는 것이 가장 기본이 되겠으나, 이 방법은 생산성이 낮고 작업자 간 일치도도 충분치 않다고 알려져 있다. 따라서 일반적으로 분할을 도와주는 소프트웨어 도구를 사용하게 되는데, 소프트웨어들을 사용하는 경우에도 그 분할 기법과 대상영역에 따라서 정확도와 신뢰도에 적지 않은 차이가 있다(25). Table 3에 종양 분할에 있어서 분할 기법의 신뢰도에 대한 주요 연구들과 그 결과를 나열하였다.

Table 3
Reliability of Segmentation Methods in Tumor Segmentation

• Click for larger image
• Click for full table
• Download as Excel file

분할 소프트웨어에서 사용되는 분할 기법은 대별하여 point click 방식, box draw 방식, sketch draw 방식 등이 있다(8). Point click 방식은 씨앗영역성장(seeded region growing) 기법을 기반으로 하고 있으며, 사용자가 하나 또는 여러 개의 점을 찍어주면 이를 씨앗으로 삼아 소프트웨어가 영역을 성장시켜가면서 주변 정상조직과의 경계를 찾아내는 방식으로 작동한다. Box draw 방식은 box 내부와 외부 간 영상특징들의 분포 차이를 이용하여 반복적으로 최적 경계를 찾아가도록 작동한다. Sketch draw 방식에서는 영역의 내부와 외부에 각각 단순한 선을 그어주면 그 선으로부터 얻은 영상특징의 차이를 이용하여 최적의 경계를 결정한다. Fig. 3은 몇 가지 방식을 이용한 종양 분할의 예를 보여준다.

Fig. 3
The figure shows examples of segmentation methods. (A) manual, (B) point click, (C) box draw, and (D) sketch draw. Adapted from Lee et al. J Kor Soc Imag Infor Med 2014;20:19-26 (8).

• Click for larger image
• Download as PowerPoint slide

Ryoo 등(22)은 뇌교종의 조영증강 MRI에서 뇌혈류 용적을 분석할 때 수작업에 의한 분할과 box draw 기법에 기반한 반자동적 소프트웨어를 사용한 분할 방법을 비교하였는데, 동일 작업자 내 변동계수(coefficient of variation; 이하 COV)는 수작업 분할 시 20~37%에서 반자동적 분할시 9~16%로 줄어들었고, 작업자간의 변동계수는 수작업 분할 시 20~35%, 반자동적 분할 시 5~49%로서 역시 줄어드는 경향이 있음을 보고하였다.

소프트웨어를 이용하는 영역분할에 대해서는 지난 10여 년간 많은 연구가 이루어져왔고, 아직도 활발한 연구 주제로 남아있다. 지금까지의 대체적인 콘센서스는 반자동적 분할용 소프트웨어를 이용하여 경계선의 초안을 얻고, 훈련된 사용자가 수작업에 의한 수정을 가하는 것이 최적의 방법이라고 받아들여지고 있다(18). 최근에는 많은 수의 종양영상으로 훈련된 딥러닝을 이용하면 보다 신뢰도가 높은 종양 분할이 가능하다는 연구 결과들도 있으므로 향후에는 수작업에 의한 수정의 빈도와 작업량이 줄어들 것으로 기대된다(26, 27).

품질검증

방사선영상체학의 연구 동향을 보면 추출하는 특징의 수가 점차 늘어나는 경향이 있다. 2012년 발간된 초기의 방사선영상체학 논문에서는 폐암의 CT 영상을 분석하는데 22개의 의미론적 특징과 182개의 텍스쳐 특징을 추출하였으나(28), 이어진 2014년 논문에서는 폐암과 두경부암의 CT 영상 분석에서 웨이브렛 특징이 추가되면서 특징의 수가 440개로 늘어났고(29), 그 이후 Laplacian 변환 특징이 도입되면서는 600개가 넘는 특징이 사용되었다(30). 한편, 특징추출은 각 서식지별로 이루어지므로 여러 개의 서식지가 있는 경우에는 특징의 수가 수천 개에 이를 수도 있다. 이렇게 특징의 수가 많아지게 되면, 일부 특징들이 우연에 의해 높은 성능을 보이는 과적합(overfitting) 현상이 발생할 가능성이 커지게 된다. 이러한 과적합 현상은 수만 개에 이르는 유전자발현을 다루는 생물정보학에서도 문제시되었던 것으로서 엄밀한 선별절차와 통계적 검증이 따르지 않으면 자칫 연구 결과가 거짓 발견을 보고하는 위험에 빠질 수 있으므로 주의가 필요하다(18, 19).

이러한 위험을 해소하기 위해 방사선영상체학 연구에서는 추출된 다량의 특징 중에서 적절한 품질평가와 검증을 통해 소수의 가치 높은 특징들을 선별해 내는 과정을 거친다. 방사선영상체학에서 특징의 품질평가는 안정성, 다이나믹 레인지, 그리고 중복성 등으로 이루어질 수 있다(19). 안정성은 특징이 영상획득 프로토콜 또는 영역 분할 등 사전 과정의 변동 요소의 개입에도 불구하고 일정한 값을 유지하는 정도를 나타낸다. 안정성은 연구의 신뢰도와 직결되며, 안정성이 낮은 특징을 사용한 연구는 재현성이 좋지 않을 것이 자명하므로, 연구의 가치를 떨어뜨리므로 초반에 탈락시키는 것이 좋다. 특징의 안정성 평가는 두 가지 다른 세팅에서 측정한 특징값간의 급내상관계수 (intraclass correlation coefficient) 또는 변동계수(CoV) 등의 측정으로 할 수 있다.

다이나믹 레인지는 연구 대상 집단에서 추출한 특징값이 어느 정도의 변화 폭을 가지는지를 수치화 한 것이다. 연구 대상 집단은 대체적으로 위험군과 대조군으로 구성되므로, 대상 집단에서 다이나믹 레인지가 큰 특징과 작은 특징 중에서는 상대적으로 다이나믹 레인지가 큰 특징이 잠재적으로 정보 가치가 클 것으로 간주된다. Lee 등(19)은 다양한 수치 범위를 갖는 다수의 특징간에 다이나믹 레인지를 서로 비교평가하기 위해서 특징의 변화폭을 평균치의 절대값으로 나눔으로써 정규화된 다이나믹 레인지의 사용을 제안한 바 있다. Fig. 4에 분할된 뇌종양으로부터 추출된 특징들의 정규화된 다이나믹 레인지를 평가하는 예를 보였다.

Fig. 4
The diagram shows an example of normalized dynamic range for features extracted from segmented tumor volumes. Adapted from Lee et al. Korean J Radiol 2017;18:498-509 (19).

• Click for larger image
• Download as PowerPoint slide

중복성은 다량의 특징들이 서로 간에 갖는 유사도를 뜻한다. 방사선영상체학에서 대량 추출한 영상특징들은 대부분 서로 간에 높은 유사성을 보이는데, 이러한 현상은 생물정보학과 종양유전체학에서도 나타나는 것으로 알려져 있다. 이렇게 중복성이 높은 대량 특징들에는 적절한 군집화 과정을 적용하여 중복성이 높은 특징군을 대표적 특징으로 대체하면, 과적합의 위험을 피하면서 이후 분석 작업의 부담을 줄일 수 있다. 방사선영상체학에서 중복성 제거 과정은 통상적으로 연구대상군에 대해 얻은 모든 특징 집합으로부터 특징의 유사도 행렬을 구하고, 여기에 군집화 기법을 적용하여 클러스터그람을 얻은 다음, 평균 유사도가 문턱값 이상인 군집들을 찾아내는 방식으로 수행된다. Fig. 5에 군집화 제거를 위해 생성한 클러스터그람의 예를 보였다.

Fig. 5
The figure shows an example of feature clustergram derived from feature cross correlation matrix. Adapted from Lee et al. Korean J Radiol 2017; 18:498-509 (19).

• Click for larger image
• Download as PowerPoint slide

동일 군집에 속하는 특징군에서 대표 특징을 선정하는 방법으로는 다이나믹 레인지와 안정성에 적절한 가중치를 부여하여 잠재 정보가치를 계산한 후 최고 득점한 특징을 취하는 방법이 사용될 수 있다(18, 19). 중복성 제거의 정도는 연구 대상군의 데이터 수와도 관계있다. 데이터 수가 충분히 많을 경우에는 더 많은 특징을 사용하는 것이 가능하나, 데이터 수가 적다면 중복성 제거 과정에서 특징의 수를 더욱 줄여주는 것이 필요하다.

적용사례

방사선영상체학이라는 이름으로 개념이 소개가 된 2012년 이래(28), 방사선영상체학 연구는 진단, 병기결정, 예후 예측, 치료반응 예측 등 다양한 분야에 걸쳐 활발히 이루어져왔다. Table 4에 방사선영상체학 연구들의 주요 사례들을 분야별로 나열하였다.

Table 4
Selected Studies on Radiomics Research in Diagnosis, Tumor Staging and Prognosis, and Treatment Response Prediction

• Click for larger image
• Click for full table
• Download as Excel file

Aerts 등(29)은 422예의 비소세포폐암 CT에서 초기 440개의 방사선영상체 특징들을 추출하고 품질평가 과정을 거쳐 4개의 군집으로 나눈 뒤, 이로부터 4개의 대표적인 특징을 선별하는 방사선영상체학 과정을 소개하였다. 이렇게 선별한 대표적 특징들은 종양 내 이질성을 반영하는 것으로 파악되었고, 독립적인 비소세포폐암 CT와 두경부암 CT에서 예후 예측과 유전자발현과의 연관성이 있음을 보고하였다. Coroller 등(30)은 98예의 폐선암 CT에서 초기 635개의 방사선영상체 특징들을 추출하고 품질평가 과정을 거쳐 35개의 특징들을 선별하였으며, 독립적인 84예에서 시험한 결과 1개의 대표 특징이 원격전이를 뚜렷하게 예측할 수 있음을 보고했다.

2012년 이래 급속히 발전과 확산을 거듭하는 인공지능 기술은 전 산업분야에 큰 파급을 일으키고 있으며, 영상의학분야는 그중에서도 앞선 영향권에 놓여있다. 최근의 이러한 기술혁명의 바탕에는 딥러닝 기술이 자리 잡고 있는데 딥러닝 기술은 인공지능의 한 분야인 기계학습의 세부 분야이다.

딥러닝은 사람의 뉴런을 모방한 단순한 연산 단위를 여러 계층에 걸쳐 대단위로 구성하고 여기에 대량의 데이터와 많은 반복 훈련을 통해 패턴 인식에 관련된 각종 기능을 수행하게 하는 기법이다. Fig. 6에 여러 단계의 신경망과 딥러닝의 구조를 보였다. 입력과 출력 사이에 여러 뉴런을 그물망 형태로 연결하여 은닉 층을 구성하고 많은 데이터로 반복 훈련을 시키면, 데이터에 내재하는 추상적인 특징이 은닉 층에 나타나게 되는데, 이렇게 얻은 추상적 특징을 최종적으로 가공하여 여러 가지 용도로 활용하게 된다(40). 고전적인 신경망 연구에서는 은닉 층의 훈련이 어려워 은닉 층이 1개인 단순 신경망(simple neural network)만이 사용 가능했으나, 최근에 여러 은닉 층을 위한 훈련 기법이 발전되면서 다층 신경망(deep neural network)이 등장하였다. 특히 회신신경망 (convolutional neural network; 이하 CNN)은 영상처리를 위해 특화된 다층 신경망으로서, 영상데이터에서 주변 화소끼리 가지는 상관성을 학습할 수 있는 특징이 있다. 망막 세포에서 발견되는 국소적 연결 망을 본떠서 초기 은닉 층에서는 변연 성분, 방향성, 굴곡 등의 국소 특징을 포착하는 필터 구조들을 학습하고, 상위 층으로 갈수록 점진적으로 개체의 전체적 특징을 포착하는 고차원 패턴 인식 기능을 학습할 수 있게 하는 특징이 있다.

Fig. 6
The figure illustrates basic building blocks and architectures in deep learning (A–F). Adapted from Alom et al. arXiv preprint 2018 arXiv:1803.01164 (41).

• Click for larger image
• Download as PowerPoint slide

인터넷을 통해 여러 곳에서 대량의 데이터를 수집하여 축적, 가공, 이동을 용이하고 신속히 할 수 있게 된 점, Graphic Processing Unit과 같이 단순 단위연산을 초 병렬적으로 고속 처리할 수 있게 된 점, 그리고 페이스북이나 유튜브 등과 같은 SNS에서 수집되는 막대한 영상을 자동 분류하거나, 자율 주행차 등에서의 영상인식 등과 같은 비즈니스 수요 등이 맞물리면서 폭발적인 발전과 확산이 가속화되고 있다.

딥러닝의 뛰어난 성능이 인정받게 된 것은 원래 영상에 포함된 물체에 따라 영상을 여러 범주 중 하나로 분류하는 기능이었다. 딥러닝의 성능이 세상에 처음 알려지게 된 2012년 ImageNet 경쟁에서는 15만 개의 영상을 받아 각 영상을 1천 개의 범주 중 하나로 분류하는 임무가 주어졌는데 CNN 구조의 딥러닝을 채용한 Alex 팀이 다른 팀과 10% 이상의 성능 차이를 보이면서 우승을 차지하였다(41). 이때 사용된 딥러닝 구조는 AlexNet이라 일컬어지게 되었다. AlexNet에서는 8 개의 은닉 층을 사용하였는데, 그 후 더 많은 층을 쌓고, 은닉 층의 연결 구조를 달리함에 따라 VGGnet, GoogLeNet, ResNet, DenseNet, fully convolutional network, U-Net 등 다양한 구조의 딥러닝이 나타나게 되었다(41). 딥러닝의 구조를 적절히 선택함에 따라, 기존의 범주 분류에서 더 나아가 영상내의 관심영역 지정, 영역 분할, 화질 개선, 영상 변환, 영상 합성 등 다양한 기능을 수행할 수 있게 되었다.

뛰어난 성능을 가진 딥러닝의 출현은 곧바로 영상의학 분야에의 응용을 위한 연구 개발을 촉진시켰고, 수많은 논문 발표와 제품개발이 이루어졌다. 기존의 공개 영상 데이터와 추가적인 대규모 영상 데이터베이스 구축을 적절히 활용하면서, 딥러닝 연구는 영상의학분야에서도 병변 검출, 장기 및 병변 분할, 진단, 예후 예측 등 여러 분야의 연구에서 우수한 성적을 나타내고 있다(42). Table 5에 영상의학분야에 응용된 주요 딥러닝 연구들을 나열하였다.

Table 5
Selected Studies for Deep Learning Applications in Medical Imaging

• Click for larger image
• Click for full table
• Download as Excel file

Hu 등(43)은 복부 CT에 3D 전역 CNN 형식의 딥러닝을 적용하여 장기의 위치를 지정하는 확률지도를 생성하게 하고, 추가적으로 장기 경계를 다듬게 하는 표면 진화 방법을 결합하여 간, 비장, 신장 등을 전 자동으로 분할하는 연구를 하였고, 140예의 CT 중 5분할 교차검증 결과 간, 비장, 신장에서 각각 96.0%, 94.2%, 95.4%의 일치도를 보고하였다.

Nam 등(53)은 총 43292장의 흉부 X-선 영상을 이용하여 악성 폐결절을 검출하는 CNN 기반의 딥러닝 시스템을 개발하였고, 1세트의 내부 데이터와 4세트의 외부 데이터를 사용하여 성능을 평가한 결과 0.92~0.99의 area under the receiver operating characteristics를 얻었으며, 이는 평가에 참여한 18명의 의사 중 17명보다 나은 성적이었음을 보고하였다.

Fig. 7에 딥러닝을 이용하여 복부 CT에서 여러 장기를 분할한 예와, 흉부 CT에서 폐결절의 예후를 예측한 실험의 예를 보였다.

Fig. 7
The figure shows examples of deep learning applications.
A. Segmentation of multiple abdominal organs in abdominal CT. Adapted from Wang et al. arXiv preprint 2018;arXiv:1804.02595 (54).

B. Prognosis map of pulmonary nodules in chest CT. Adapted from Hosny et al. PLoS Med 2018;15:e1002711 (55).

• Click for larger image
• Download as PowerPoint slide

빅데이터는 인공지능과 함께 21세기 초반기에 전 산업과 과학계에 걸쳐 혁신적인 변화를 가져 올 정보기술적 동력으로 여겨진다. 빅데이터의 정의로서 한때 “크기가 종래의 데이터베이스 도구로는 포착, 저장, 관리, 분석할 수 없는 수준으로 큰 데이터”라는 맥킨지 글로벌 연구소의 표현이 사용되었으나(56), 데이터베이스 도구들이 계속 발전함에 따라 최근에는 “Volume, Velocity, Variety, Veracity, Value 측면에서 특별한 기술과 도구가 필요한 데이터”라는 5V 정의가 통용되기 시작하였다(57). 즉 양적인 측면이 주로 강조되던 시기가 지나가고, 유입의 지속성, 다양성, 내용의 진실성, 도출될 가치 등과 같이 빅데이터의 여러 측면에서의 도전과 잠재성이 새로이 부각되고 있는 것이다.

빅데이터는 최근의 세계적인 4차 산업혁명의 기술 경쟁에서도 중요한 자원으로 인식된다. 즉, 인터넷으로 연결된 주문, 제조, 유통 등 일련의 과정에서 데이터를 여하히 가공 활용하느냐에 따라 빅데이터는 현실 산업에서 경제적 가치로 환원될 수 있는 잠재적 자원으로 인식되고 있으며, 각 산업계는 물론 국가 단위에서도 빅데이터의 구축과 활용을 통하여 4차 산업혁명을 실현하고자 하는 노력이 이어지고 있다(58).

보건의료는 서비스 산업 및 과학 분야에서 빅데이터의 활용 효과가 클 것으로 여겨지는 분야 중 하나이다. 특히 유전체와 종래의 임상, 영상 등을 통합시킨 빅데이터를 활용하여 환자 개인의 건강 상태와 필요에 맞는 진료 서비스를 제공하는 정밀의료의 필요성 인식에 따라, 보건의료 분야의 빅데이터 구축 노력도 가속화되고 있다.

빅데이터의 붐이 시작된 2000년 경에는 데이터의 량이 많기만 하면, 내재하는 질적 결함의 문제는 충분히 해소될 수 있다는 믿음이 지배한 적이 있었다(59). 그러나 십수 년에 걸친 투자와 경험을 통하여, 빅데이터에 투자한 기관 중 85%가량의 경우 실패를 겪는다는 사실이 알려지면서 빅데이터의 성공적인 구축과 활용을 위해서는 각별한 주의와 노력이 요구된다는 자각이 제기되고 있다(60). 이에 따르면 유용한 빅데이터를 구축하는 요건은 사용 목적을 고려한 사전 설계이다. 적절한 설계 없이 수집한 데이터들은 실제 사용 단계에 가서 정작 필요한 변수들이 결여되거나 노이즈로 작용하는 경우가 많아 유용성이 떨어진다는 것이다. 더불어 중요한 것은 데이터 변수의 의미에 대한 사전 정의와 값을 결정하는 기준, 그리고 전속 담당자에 의한 품질검증의 여부이다. 이와 같이 데이터에 정교한 품질 척도를 매기고 관리하는 것을 데이터 큐레이션(curation)이라 한다(18, 60). 요컨대, 현실 세계에서 데이터가 생겨나는 과정과 활용되는 방식을 잘 이해하는 도메인 전문가가 큐레이션의 설계와 검증 과정에 참여할 때만이 빅데이터의 유용성이 보장된다는 것이다. 영상의학적 빅데이터 구축에 있어서는 큐레이션뿐 아니라 Institutional Review Board 심의와 개인정보보호법에 따른 비식별화 노력이 추가로 요구되기도 한다.

영상 데이터 자체는 DICOM으로 표준화되어 있어 수집, 저장 관리에 문제가 없으나, 데이터 큐레이션에 대한 방법과 절차는 아직 통용되는 기준이 확립되지 않아 어려움이 있다. 영상 데이터에서 큐레이션은 환자 단위, 검사 단위, 병변 단위 등 여러 단계로 이루어질 수 있다. Fig. 8에 National Lung Screening Trial 데이터베이스에서 사용된 여러 단계의 큐레이션 정의서와 큐레이션 데이터 파일의 예를 나타내었다.

Fig. 8
The figure shows an example list of curation document for the National Lung Screening Trial dataset. Patient, exam, lesion levels, curation dictionary, and data are provided.

• Click for larger image
• Download as PowerPoint slide

환자 단위의 큐레이션에 필요한 정보는 환자의 인구학적 속성과, 진단, 치료 경과, 그리고 임상적 종착점에 관한 정보 등이 포함된다. 이와 같은 정보들은 향후 데이터를 사용하여 영상유전체학, 방사선영상체학, 또는 인공지능 등을 통해 분석 결과를 산출할 때 최종 단계에서 임상적 유용성 여부를 판단하는 결정적인 정보가 된다. 이를 저장하는 파일 형식으로는 엑셀에서 읽을 수 있는 CSV 형식이 주로 활용되며, 변수들에 사용되는 용어들은 International Classification of Diseases 10th Revision (ICD-10), International Classification of Diseases for Oncology-3rd edition (ICD-O-3), Systematized Nomenclature of Medicine Clinical Terms (SNOMED CT) 등과 같은 표준 어휘집을 따르는 것이 권장된다(61, 62, 63). 검사 단위의 큐레이션에서는 환자 및 검사 고유 번호, 검사 차수, 검사 장비와 프로토콜 등을 기입한다. 이는 서로 다른 장비나 프로토콜로 얻은 검사 데이터들 간에 혼동 요소가 개입하지 않도록 분류하는데 중요하게 사용될 수 있다. 병변 단위의 큐레이션에서는 병변 설명, 위치, 병리확인 여부, 형태학적 특징 등을 상세한다. 병변의 위치로는 중점의 화소 위치만을 지정하는 단순한 방법부터 경계 사각형(bounding box), 그리고 손으로 그린 병변의 경계선의 위치 리스트를 기입하는 방법 등 다양한 방법이 사용된다. 병변의 형태학적 특징을 기술하는 데는 RadLex와 같은 영상의학 어휘집을 따르는 것이 권장된다(64). 손으로 그린 병변의 경계선 데이터를 저장하는 데는 DICOM의 RT STRUCT 형식을 사용하는 경우와 XML 형식을 사용하는 경우 등이 통용된다.

Table 6에 영상 빅데이터의 선구적 사례로 알려진 The Cancer Imaging Archive에서 폐암 CT 분야의 데이터 세트 목록과 그 내역을 나열하였다. 다수의 데이터 세트는 병리 결과나 생존 기록 등 임상 정보가 제공되고, 병변의 위치 또는 경계선 데이터가 있으며, 일부의 경우 유전자 발현 데이터도 제공된다.

Table 6
TCIA Lung Cancer Imaging Data Sets

• Click for larger image
• Click for full table
• Download as Excel file

꾸준한 기술 개발과 제품경쟁의 결과 최근 유전체 데이터 획득 비용은 큰 부담 없는 수준으로 내렸고, 이에 더하여 단백체, 대사체 등 다양한 오믹스 데이터가 비교적 용이하게 가용해지는 시대가 눈앞으로 다가오고 있다. 영상유전체학은 이러한 데이터 의학 시대에 영상의학이 주요 파트너로 자리 잡는데 필요한 핵심 역량이 될 수 것으로 기대된다. 각 연구기관에서 수집되고 분석되었던 유전체-영상 짝의 데이터들이 취합되어 빅데이터로 구축된다면 보다 강력한 통계적 가치를 지닌 영상 마커들이 수립되고, 현장 진료에도 중개될 수 있을 것이다.

그러나 영상유전체학에서 개발되었던 영상특질들은 많은 경우에 전문가의 육안적 판단에 의존한다는 한계점이 있다. 따라서 관찰자 바이어스가 개입될 개연성이 있어 객관성에 대한 이슈가 남아있다. 또 아직까지 이를 대체할 만한 고도의 영상처리 기술 개발도 이루어지고 있지 않다. 현재로서는 관찰자에게 일정한 훈련과정을 제공하고, 관찰자 내, 관찰자 간 재현성과 일치성을 평가하는 등 품질관리 절차를 수립하는 것이 현실적인 해결책으로 보인다(65). 하지만 보다 고효율의 작업을 해내고, 객관적 데이터 과학으로서의 면모를 갖추기 위해서 딥러닝 등 진보된 기술을 사용하여 보다 객관화된 특질 추출방법이 개발되는 것이 필요하다.

방사선영상체학에서는 관찰자의 개입을 줄이고 컴퓨터 알고리즘에 의한 작업이 주를 이루어 고속, 대량의 데이터 추출이 가능하며 품질평가 절차도 비교적 잘 정립되어 있다. 그럼에도 불구하고 현 단계에서 가용한 영상 특징들은 기초적이고 단순한 것들에 머물러 있다는 한계점이 있다. 따라서 많은 수의 영상 특징이 가용함에도 불구하고 특이도가 높은 고성능 영상 특징이 발굴된 예는 그다지 많지 않다. 또한 종래에 흔히 사용되는 텍스쳐를 비롯한 다수의 특징들은 영상 획득 프로토콜과 저선량 잡음에 민감하고, 검사간의 변동성도 큰 것으로 보고되고 있어 이를 극복할 수 있는 방법이 강구될 필요가 있다(66).

이제까지 방사선영상체학에서는 종양 영상의 분석에 국한된 연구가 주를 이루었다. 이는 기술적 절차가 비교적 단순하고 임상적 종착점의 정의도 분명하기 때문이었을 것이다. 향후에는 딥러닝 기술을 통해 다수의 장기나 조직의 영상 분할이 용이하게 이루어질 것이 예상되는데, 이와 같이 다수의 장기와 조직 성분으로부터 적절한 특징들을 추출하고 이를 지식 기반화하여 활용한다면, 방사선영상체학은 영상의학의 연구와 발전에 광범위하게 활용될 수 있을 것이다.

딥러닝 기술은 산업계에서 먼저 혁신적으로 발전되고 영상의학분야에 적용되는 양상을 보이고 있다. 글로벌 IT 기업에서의 대단위 기술개발 투자가 이어지고 있기 때문에, 향후 의학영상에서도 지금보다 발전된 수준의 기술들이 연이어 등장하게 될 것으로 전망된다. 그러나 딥러닝 기술이 지닌 본질적인 한계도 지적되고 있다. 즉, 딥러닝 내부에서 이루어지는 추상적 특징 추출과 학습과정을 외부에서 감시하거나 통제하는 것이 극히 어렵고 따라서 최종 출력 외에는 알 수 없는 블랙박스로 간주된다는 문제이다. 이러한 불투명성은 딥러닝이 제시한 결과와 사용자가 판단한 결과가 상충될 때 합의점을 도출하는 것을 어렵게 만들 수 있다. 인공지능 연구계에서는 딥러닝의 불투명성을 극복하는 방안으로서, 설명 가능한 인공지능을 개발하려는 시도가 이루어지고 있어 앞으로 귀추가 주목된다(67).

불투명성을 극복하는 또 다른 방향으로서 단순작업을 하는 딥러닝을 여러개 구성하여 파이프라인으로 연결시켜 복잡한 기능을 수행시키는 것을 생각할 수 있다. 즉, 잡음저감용, 관심영역 지정용, 영역분할용, 특징추출용, 특징분포 가시화용, 분류용 등 다수의 딥러닝이 단순한 작업을 수행하게 하면 사용자가 중간산물의 적합성을 판단하기 용이해지고, 사용자와 딥러닝 간의 이해와 소통도 가능할 수 있을 것이다.

고품질의 영상 빅데이터는 영상정보학 발전의 필수 영양분이라 할 것이다. 영상유전체학 연구에서 고성능 영상표지자를 발굴하거나, 방사선영상체학에서 잘 검증된 모델을 개발하는데, 그리고 실용 수준의 딥러닝을 훈련시키는데 있어서 잘 큐레이션된 빅데이터는 반드시 필요하다. 방사선영상체학에서는 일반적으로 특징의 품질검증과 모델 훈련을 위해 특징 하나당 최소 10개의 데이터가 필요한 것으로 알려져 있다(18). 좋은 특징 발굴을 위해서는 초기에 대량의 특징을 추출한 뒤 정제 과정을 거치게 되므로, 많은 데이터의 큐레이션이 필요하게 된다. 영상의학 데이터의 큐레이션 과정에는 큐레이션 정의서 작성, 의무기록 검토와 환자 선정, 검사의 적정성 평가, 관심영역 지정, 기록된 큐레이션 데이터 검증 등 많은 노력이 소요되는데, 연구에 따르면 증례 당 3시간이 소요된다고 한다(18). 따라서 큐레이션에 따라는 작업을 고효율화하려는 노력과 더불어, 큐레이션 작업에 대한 적절한 보상 방안을 강구하는 것이 필요하겠다. 예를 들면 PACS와 electnonic medical record을 연동하고 특화된 검색 조건을 마련하여, 연구 대상 후보를 추려내는 과정을 대폭 간소화시키며, 사전에 PACS에 표지해 놓은 관심영역 데이터를 이용하여 큐레이션이 이루어 질수 있게 하는 ‘큐레이션 브로커’를 마련하여 활용할 수 있겠다. 또한 고품질 데이터의 생산 보고서의 가치를 학회 차원에서 학술적 가치로 인정해주는 것을 생각해 볼 수 있을 것이다. 생산된 데이터를 공동 활용하기 위해 학회 등 공신력 있는 단체에서 보관하고, 공동 연구 희망자의 요청에 따라 공여하여 활용할 수 있게 하는 제도가 수립되면 생산 데이터의 공동 활용이 보다 활발해질 수 있을 것이다.

특이성이 높은 영상 특질을 객관성 있게 고속으로 추출하는 기술의 개발을 장려하는 것도 필요하다. 질병 고유의 영상 특질을 재현성 있게 정량적으로 추출하는 기법은 영상정보학에서 데이터 채굴의 강력한 도구가 될 것이고, 일상 진료에 있어서도 큰 도움이 될 것이다. 이를 위해 특질 추출을 위한 챌린지 행사를 개최하여 개발자를 독려하거나, 기존 챌린지의 대회의 부속 행사로서 진행하는 것도 생각해 볼 수 있다.

발굴된 영상 특징 또는 영상 특질들의 유형을 코드화하는 것도 필요하다. 생물정보학계에서는 개별 연구그룹에서 식별하여 보고한 유전자단위, 유전변이들을 검증하고 표준 코드명을 부여하는 기반 작업을 훌륭하게 해냈기 때문에, 그 기반을 바탕으로 고도화된 생물정보학의 지식 축적이 가능하였다. 마찬가지로, 보고된 영상 특징 또는 영상 특질들의 적절성을 평가하여 기준을 만족하면, 표준 코드를 부여하는 것이 필요하겠다. RadLex와 같은 표준 어휘집의 사례를 참고하여 코드집을 만들고, 최근 DICOM 표준의 일부로 인정된 Annotation and Image Markup 규격 등을 활용하면 기존의 정보 인프라를 활용하여 효과적으로 정착시킬 수 있을 것으로 생각된다(68).

일찍이 PACS의 태동기인 1980년대부터 ACR-NEMA 연합표준위원회에서는 DICOM 세부 표준규격들의 제안을 접수, 평가하여 표준으로 추가하거나 삭제하는 등의 표준 유지관리 임무를 이어옴으로써, 영상정보학의 토대가 된 PACS의 산업적 생산, 진료활용, 학술연구 등의 활동을 가능케하였다. 그로부터 30여 년이 지나 영상정보학은 데이터 과학으로서의 기틀을 정립하고 정밀 의학의 발전과 실현의 일익을 담당하는 과제를 맞이하고 있다. 영상의학과 영상정보학계는 앞선 전통의 자산과 경험을 활용하며, 전문성 높은 기 보유 인적 역량과 인프라 자산들을 활용함으로써 미래의 새로운 지평을 개척해 나갈 수 있기를 기대한다.