수술 비디오에서 외과의의 활동을 디코딩하기 위한 비전 변환기

Nature Biomedical Engineering (2023)이 기사 인용

6508 액세스

2 인용

129 알트메트릭

측정항목 세부정보

외과의사의 수술 중 활동은 수술 후 결과에 상당한 영향을 미칩니다. 그러나 대부분의 수술 절차에서 수술 중 수술 조치의 세부 사항은 매우 다양할 수 있으므로 잘 알려져 있지 않습니다. 여기에서는 로봇 수술 중에 일반적으로 수집된 비디오에서 수술 중 수술 활동 요소를 디코딩하기 위해 비전 변환기와 지도 대조 학습을 활용하는 기계 학습 시스템을 보고합니다. 시스템은 수술 단계, 외과 의사가 수행한 작업, 이러한 작업의 품질 및 작업 디코딩에 대한 개별 비디오 프레임의 상대적 기여도를 정확하게 식별했습니다. 서로 다른 두 대륙에 위치한 세 병원의 데이터에 대한 광범위한 테스트를 통해 시스템이 비디오, 외과 의사, 병원 및 수술 절차 전반에 걸쳐 일반화되고 주석이 없는 비디오에서 수술 제스처 및 기술에 대한 정보를 제공할 수 있음을 보여줍니다. 정확한 기계 학습 시스템을 통해 수술 중 활동을 디코딩하면 외과 의사에게 수술 기술에 대한 피드백을 제공할 수 있으며 최적의 수술 행동을 식별하고 수술 중 요인과 수술 후 결과 간의 관계를 연구할 수 있습니다.

수술의 가장 중요한 목표는 수술 후 환자 결과를 개선하는 것입니다1,2. 이러한 결과는 수술 중 수술 활동3, 즉 수술 중 외과의사가 수행하는 작업과 해당 작업이 얼마나 잘 수행되는지에 의해 크게 영향을 받는다는 것이 최근 입증되었습니다. 그러나 대다수의 수술 절차에서 수술 중 수술 활동에 대한 자세한 이해는 여전히 어렵습니다. 이 시나리오는 특정 환자 결과의 동인이 아직 발견되지 않았거나 다르게 나타나는 다른 의학 영역에서 너무 일반적입니다. 수술 내의 현 상태는 수술 중 수술 활동이 단순히 측정되지 않는다는 것입니다. 이러한 측정 부족으로 인해 시간, 외과 의사 및 병원에 따라 수술 절차가 수행되는 방식의 가변성을 포착하고 수술 중 활동과 환자 결과를 연관시키는 가설을 테스트하고 외과의에게 수술 기술에 대한 피드백을 제공하는 것이 어렵습니다.

수술 중 수술 활동은 ​​로봇 보조 수술 중에 일반적으로 수집된 비디오에서 해독될 수 있습니다. 이러한 디코딩은 시간이 지남에 따라 어떤 절차 단계(예: 조직 해부 및 봉합)가 수행되는지, 수술 의사가 해당 단계를 어떻게 실행하는지(예: 일련의 개별 작업 또는 제스처를 통해), 해당 단계의 품질에 대한 통찰력을 제공합니다. 실행됩니다(즉, 기술 숙달, 그림 1). 현재 비디오를 디코딩하려면 전문 외과의가 수동으로 회고 분석을 해야 합니다. 그러나 이러한 인간 중심 접근 방식은 검토하는 외과 의사의 활동 해석에 따라 달라지므로 주관적입니다. 외과 의사가 모든 수술 중 활동을 알고 있다고 가정하므로 신뢰할 수 없습니다. 전문 외과의의 존재와 막대한 시간과 노력이 필요하기 때문에 확장이 불가능합니다. 이러한 가정은 전문 외과의를 구할 수 없고(자원이 부족한 환경에서) 이미 시간이 촉박한 경우 특히 비합리적입니다. 따라서 수술 중 수술 활동을 객관적이고 신뢰할 수 있으며 확장 가능한 방식으로 해독해야 할 필요성이 절실히 필요합니다.

a, 로봇 수술 중에 일반적으로 수집된 수술 비디오는 SAIS를 통해 수술 중 수술 활동의 여러 요소로 디코딩됩니다. 즉, 바늘 취급, 바늘 박기 및 바늘 빼기의 봉합 하위 단계와 같이 외과의사가 수행하는 작업과 해당 활동이 실행되는 방식입니다. 별개의 몸짓과 다양한 수준의 기술을 통해 외과의사가 됩니다. b, SAIS는 하위 단계 인식부터 제스처 분류 및 기술 평가에 이르기까지 수술 활동의 다양한 요소를 독립적으로 디코딩하는 데 동일한 아키텍처를 사용할 수 있으므로 통합 시스템입니다.