서울대병원 환자 120명 대상 폐암검출 정확도 성능 비교… 고성능 루닛 AI 활용 시 판독정확도 크게 향상
의료진 경력, AI 사용 경험 등과 무관하게 AI 자체 성능이 최종 판독정확도에 중요한 결정 인자임을 입증

[2023년 7월 3일] 의료 인공지능(AI) 기업 루닛(대표 서범석)은 정확도가 높은 AI 모델을 사용한 경우에만 판독자의 검출 능력이 크게 향상된다는 연구 결과가 국제학술지 '래디올로지(Radiology)' 최신호에 게재됐다고 3일 밝혔다.

래디올로지는 미국영상의학회(RSNA)가 발간하는 SCI급[1] 국제학술지로 글로벌 논문 피인용지수(Impact Factor)가 29.146[2]에 이르는 영상의학 분야 최고 권위의 저널이다.

이번 연구는 서울대학교병원에서 2015년 12월부터 2021년 2월까지 흉부 엑스레이를 촬영한 환자 가운데 후향적으로 선별한 120명을 대상으로, 다양한 전문성을 가진 영상의학과 의사 30명이 참여해 진행됐다.

연구진은 폐암이 검출된 흉부 엑스레이 영상 60장과 암이 없는 정상소견 영상 60장 등 총 120장의 영상을 AI 도움 없이 각자 단독으로 1차 판독했다. 이후 판독의를 15명씩 두 그룹으로 나눠 A그룹은 정확도가 높은 AI를, B그룹은 정확도가 낮은 AI를 각각 활용해 2차 판독했다.

연구를 위해 A그룹은 흉부 엑스레이 AI 영상분석 솔루션 '루닛 인사이트 CXR'의 고성능 알고리즘을 사용했고, B그룹은 전체 학습 데이터의 10%만 학습한 상대적으로 저성능 알고리즘을 사용했다.

그 결과, 인공지능 모델의 성능평가 지표인 AUROC(Area Under the Receiver Operating Characteristic) 분석에서 고성능 루닛 인사이트 CXR 알고리즘의 단독 폐암 검출 능력은 0.88로, 저성능 알고리즘 0.77에 비해 높은 정확도를 나타냈다.

또한, A그룹 판독의가 1차 판독 후 루닛 인사이트 CXR을 활용해 2차 판독한 경우 AUROC 수치는 0.77에서 0.82로 향상됐다. 반면 B그룹 판독의들은 1·2차 판독 모두 0.75을 기록하며 수치상 변화가 없었다. 통상적으로 AUROC 수치가 1에 가까울수록 성능이 뛰어나며, 0.8 이상인 경우 고성능 모델로 평가된다.

이와 함께 연구에서는 판독의의 1차 단독 판독 결과와 2차 판독 시 AI의 결과가 서로 엇갈릴 경우, AI가 제안한 결과에 따라 판정을 수정한 비율을 측정했다.

연구 결과, 1차에서 판독의가 독자적으로 판독한 결과와 상충되는 AI 결과가 2차에서 제시되는 경우에 해당 제안을 받아들여 최종 판독을 뒤집은 경우는 A그룹 67%, B그룹 59%로, 고성능 알고리즘을 사용한 집단에서 인공지능에 대한 수용성(Susceptibility)이 더 높았다.

박창민 서울대학교병원 영상의학과 교수는 "특히 이번 연구에서는 AI를 사용한 2차 판독의 정확도에 영향을 미치는 요인을 분석하기 위해 판독의들의 경력기간, AI에 대한 인식, AI 사용 및 연구경험 유무 등을 사전에 조사했다"며 "그 결과 개별 판독의의 1차 진단 정확도와 AI 자체의 정확도 만이 AI를 사용해 2차 판독한 의료진의 정확도에 유의미한 영향을 미쳤을 뿐, 판독의 고유의 경험과 성향은 무관한 것으로 나타났다"고 말했다.

서범석 루닛 대표는 "이번 연구는 개별 의료진의 특성과 무관하게, 성능이 높은 AI를 활용해야만 판독 개선 효과와 함께 AI에 대한 의료진의 수용성이 높아진다는 것을 확인한 연구"라며 "앞으로도 루닛은 의료진의 판독 정확도를 높이고, 환자들에게 보다 정확한 정보를 제공할 수 있도록 AI 성능 향상에 매진하겠다"고 말했다.

^[1] Science Citation Index, 과학기술논문 인용색인: 과학기술 분야에 학술적 기여도가 높은 학술지를 엄선해 해당 논문의 색인 및 인용 정보를 제공하는 데이터베이스

^[2] JOURNAL IMPACT FACTOR 참조 (https://impactfactorforjournal.com/journal-impact-factor-ranking/)

루닛의 새로운 소식을 만나보세요

참가 학회 및 전시회