[Health Policy Insight 138회]

자동성과메트릭스(APMs)와
기계학습 알고리듬(ML Algorithms),
로봇수술에서 외과의사 성과 측정과 임상결과 예상 가능케 해

많은 연구는 외과의사 성과(performance)는 환자 결과(patient outcomes)와 직접적으로 연관되어 있음을 확인하고 있다. 외과의사 평가를 위한 현재 기준은 비디오 화면을 통해 수술 중 혹은 후향적으로 이루어지는 동료심사(peer review)이다. 전문가 검토(expert review)는 로봇수술 성과를 평가하는데도 사용된다.

그러나 로봇에서 직접 포착한 시스템 데이터는 외과의사 성과를 보다 정확하고 객관적으로 측정할 수 있는 새로운 기회를 제공한다. 로봇의 데이터를 이용하는 방법은 정확성을 높이고 전문가 평가자의 의존도를 낮출 수 있다.

라이브 로봇수술(live robotic surgery) 중 자동성과메트릭스(automated performance metrics, APMs) - 기구 및 내시경 카메라 모션 추적 및 에너지 사용과 같은 사건 데이터) - 를 수집하기 위해 새로운 로봇시스템 기록장치를 사용했다.

의학 이외의 분야에서 흔하게 사용되는 기계학습(machine learning, ML)을 이용하여 대량의 자동으로 수집된 데이터를 처리했다(그림). 인공지능(artificial intelligence)의 한 형태인 기계학습은 컴퓨터 알고리즘과 많은 양의 데이터를 사용하여 인간 검토자가 종종 인지하지 못하는 광범위한 패턴을 인식하고 "학습(learn)"한다. 이러한 프로세스를 통해 객관적으로 외과의사 성과를 측정하고 환자결과를 예상할 수 있다. 가까운 장래에 외과의사 훈련을 개인화(personalize)할 수 있을 것이다.

현재 수술 성과를 추정하는 가장 실용적인 방법은 의사의 과거 수술건수(case volumes)에 의한 것이다: 많은 수술을 집도한 외과의사는 적은 수술을 집도한 외과의사보다 성과가 더 좋을 수 있다. 비디오 기록의 동료평가는 외과의사 전문성을 추정하고 결과를 예상할 수 있다. 전문 외과의사는 종종 좋은 수술의 구성요건에 의견이 일치하지 않기 때문에 이러한 방법은 관찰자간 변동성(interobserver variability)의 영향을 받는다.

기계학습 알고리즘과 수술별 APMs을 결합하면 외과의사의 성과의 진정한 객관적 평가를 할 수 있다. 최소한의 인간 처리만으로 자동평가가 이루어지고 따라서 최소한의 편향이 개입되기 때문에 개별 외과의사와 자격인증 및 면허교부위원회(credentialing and licensure committee) 모두에게 귀중한 피드백을 제공할 수 있다.

자동화 및 자가학습 컴퓨터 알고리즘을 사용하는 평가도구는 외과의사의 대규모 평가를 위한 지속가능한 방법을 제공한다. 2016년 미국에서 563,000건의 로봇수술이 실시되었다.

모든 외과수술을 평가할 필요는 없지만 정기적인 재평가를 통해 외과의사가 숙련도(proficiency)를 유지하는지 확인할 수 있다. APMs은 전문 평가자보다 외과의사의 기술(skills)에 대한 보다 포괄적이고 객관적인 그림을 제공한다.

성과의 미묘한 변동은 유해한 임상결과(adverse clinical outcome)가 발생할 때까지 검출(detection)을 피할 수 있다. APMs은 실제 로봇 수술 성과를 평가한다. 수집하기 쉽지만, 방대한 양의 데이터는 효율적인 처리를 위한 특수한 방법을 필요로 한다.

기계학습은 기존 통계보다 몇 가지 장점이 있는 대용량 데이터세트를 분석하기에 적합하다. 기존 분석은 연구 데이터세트에 가장 적합한 모델을 선험적(priori)으로 선택해야 한다. 또한 과거 경험을 토대로 유의미하거나 이론적으로 관련된 변수만 분석에 포함된다.

이와 대조적으로, 기계학습은 사전에 구조화된 모델에 구축되지 않는다; 오히려 데이터는 기저의 패턴(underlying patterns)을 감지하여 모델을 형성한다. 모델을 훈련하는데 사용되는 변수(입력)가 많을수록, 궁극적인 모델은 좀 더 정확하게 된다. 기계학습 알고리즘을 사용하려면 훈련자료에 상응하는 라벨로 표지(tag)를 지정해야 한다.

APMs을 훈련자료로 사용하는 이상적인 라벨은 환자결과이다. 이 표지부착(tagging)은 기계학습을 통한 모든 외과의사 평가는 임상 관련성을 보유하도록 한다. 제대로 활용된 외과의사 성과데이터는 정밀하고 효과적인 방법으로 훈련을 개인화(personalize)할 수 있다.

외과교육자가 안내하는 기계학습 모델은 숙련된 강사에게 반드시 필요한 것은 아니지만 성과 질을 확인시킨다. 예를 들어, 이미 두가지 특정 요인을 확인했다.

첫째, 종래 지혜는 양손의 손재주(즉, 양손의 균형 잡힌 사용)가 이상적인 외과적 특성이라는 것을 인정한다. 이와 반대로 우리의 시범적 APMs 데이터는 전문 외과의사는 초보자보다 지배적인 손을 더 많이 사용한다. 둘째, 관련성을 위해 기계학습 알고리즘에 의해 채택된 메트릭스 순위를 정함으로써, 특이적이고 바람직한 성과 질을 확인할 수 있다. 예를 들어, 외과의사의 전문성 및 우수한 결과와 강한 상관관계가 있는 카메라 조작과 관련된 메트릭스를 확인했다. 실제로 이러한 카메라 조작 메트릭스는 외과의사가 개발하는 특이적 술기가 아닌 외과의사 성과에 대한 민감한 총 측정치를 나타낼 수 있다. 

언제나 그렇듯이 연관성(association)은 원인(cause)과 효과(effect)를 자동으로 나타내지 않고 신중하게 받아들여야 한다. 외과의사의 개선된 개인별 평가와 훈련은 환자 안전을 대폭 향상시켜야 한다. APMs은 로봇 수술 자격증명 또는 면허교부에 대한 동료 검토 이상의 추가적인 평가계층을 제공할 수 있다. 이러한 평가는 외과의사가 환자를 수술하기 전에 추가적인 안전 점검을 제공한다.

기계학습 알고리즘 훈련은 컴퓨터 과학자와 외과 교육자 간의 전문성과 협력을 필요로 한다. 실험실 환경에서 엔지니어가 주로 참여했던 과거의 노력은 임상적 관련성이 부족했다. 기계학습 알고리즘에 대한 너무 적거나 너무 많은 인간 취급의 균형은 연약(delicate)하다. 너무 적으면 산출(output)이 실용적이지 않고 너무 많은 취급은 편향이나 잘못된 정보를 초래한다. 의학 외 분야의 현행 기계학습 알고리즘은 임상적 니즈에 맞게 조정되어야 한다. 

로봇수술과 기계학습 알고리즘의 지속적인 개발로 인해 처리된 자동화 데이터는 외과의사 전문성을 정확하게 측정하고 3~5년 내에 수술 결과를 예측할 것으로 예상된다.

자료출처 : Automated Performance Metrics and Machine Learning Algorithms to Measure Surgeon Performance and Anticipate Clinical Outcomes in Robotic Surgery

Hung AJ, Chen J, Gill IS, MD. JAMA Surgery. Published online June 20, 2018
https://jamanetwork.com/journals/jamasurgery/article-abstract/2685266

* 본 컬럼은 의료기기를 비롯한 헬스케어 분야의 국내외 학회지에 발표된 논문 및 연구보고서 등을 살펴봄으로써 우리나라 의료기기 관련 보건의료정책 마련에 통찰력을 제공하기 위한 목적으로 매주 발표됨