수술 비디오를 시청한 로봇이 인간 의사만큼 능숙하게 수술 수행할 수 있다

숙련된 외과의사의 영상을 보고 처음으로 훈련받은 로봇이 인간 의사와 마찬가지로 능숙하게 동일한 수술 절차를 수행했습니다.

수술 로봇을 훈련하는 데 모방 학습을 성공적으로 활용하면 의료 시술 중에 필요한 각각의 개별 동작을 로봇에 프로그래밍할 필요성이 없어지고 로봇 수술 분야가 진정한 자율성에 한 걸음 더 가까워져 로봇이 인간의 도움 없이 복잡한 수술을 수행할 수 있게 됩니다.

"이 모델을 갖는 것은 정말 마법같고, 우리가 하는 일은 카메라 입력을 공급하는 것뿐이고, 수술에 필요한 로봇 움직임을 예측할 수 있습니다." 수석 저자인 악셀 크리거가 말했다. "우리는 이것이 의료 로봇 분야의 새로운 지평을 향한 중요한 진전이라고 믿습니다."

존스홉킨스 대학 연구자들이 주도한 연구 결과는 로봇 공학과 머신 러닝 분야의 최고 행사인 뮌헨 로봇 학습 컨퍼런스에서 이번 주에 각광을 받았습니다.

스탠포드 대학 연구원을 포함한 이 팀은 모방 학습을 사용하여 da Vinci Surgical System 로봇이 기본적인 수술 절차를 수행하도록 훈련시켰습니다. 즉, 바늘을 조작하고, 신체 조직을 들어올리고, 봉합하는 것입니다. 이 모델은 모방 학습을 ChatGPT의 기반이 되는 동일한 머신 러닝 아키텍처와 결합했습니다. 그러나 ChatGPT가 단어와 텍스트로 작동하는 반면, 이 모델은 로봇의 동작 각도를 수학으로 분해하는 언어인 운동학으로 "로봇"을 말합니다.

연구자들은 수술 과정 중에 da Vinci 로봇의 팔에 부착된 손목 카메라에서 녹화된 수백 개의 비디오를 모델에 제공했습니다. 전 세계의 외과의가 녹화한 이 비디오는 수술 후 분석에 사용된 후 보관됩니다. 전 세계적으로 약 7,000대의 da Vinci 로봇이 사용되고 있으며, 50,000명 이상의 외과의가 이 시스템에 대한 교육을 받아 로봇이 "모방"할 수 있는 방대한 데이터 보관소를 만들고 있습니다.

다빈치 시스템은 널리 사용되고 있지만, 연구자들은 그것이 악명 높게 부정확하다고 말합니다. 하지만 팀은 결함이 있는 입력을 작동시키는 방법을 찾았다. 핵심은 모델을 훈련하여 부정확한 절대적 행동보다는 상대적 움직임을 수행하도록 하는 것이었습니다.

"우리에게 필요한 것은 이미지 입력뿐이고 그러면 이 AI 시스템이 올바른 행동을 찾아냅니다." 수석 저자인 지웅 "브라이언" 킴이 말했습니다. "우리는 수백 개의 데모를 통해서도 모델이 절차를 학습하고 접하지 않은 새로운 환경을 일반화할 수 있다는 것을 발견했습니다."

이 팀은 로봇에게 바늘 조작, 신체 조직 들어올리기, 봉합하기라는 세 가지 작업을 수행하도록 훈련시켰습니다. 각 경우에, 팀의 모델에서 훈련된 로봇은 인간 의사만큼 능숙하게 동일한 수술 절차를 수행했습니다.

"여기서 모델은 우리가 가르치지 않은 것을 배우는 데 매우 좋습니다." 크리거가 말했습니다. "바늘을 떨어뜨리면 자동으로 집어 올려 계속합니다. 이건 내가 가르친 것이 아닙니다."

연구자들은 이 모델을 사용하여 로봇이 모든 유형의 수술 절차를 수행하도록 빠르게 훈련할 수 있다고 말했습니다. 이 팀은 이제 모방 학습을 사용하여 로봇이 작은 수술 작업뿐만 아니라 전체 수술을 수행하도록 훈련하고 있습니다.

이러한 발전 이전에는 로봇을 프로그래밍하여 수술의 단순한 측면을 수행하려면 모든 단계를 수작업으로 코딩해야 했습니다. 누군가는 봉합을 모델링하는 데 10년을 보낼 수도 있다고 크리거는 말했습니다. 그리고 그것은 단 한 가지 유형의 수술에 대한 봉합입니다.

"매우 제한적입니다." 크리거가 말했습니다. "여기서 새로운 점은 다양한 시술에 대한 모방 학습만 수집하면 되고, 로봇이 며칠 안에 학습하도록 훈련할 수 있다는 것입니다. 이를 통해 의료적 실수를 줄이고 더 정확한 수술을 달성하면서 자율성이라는 목표를 향해 가속할 수 있습니다."

존스홉킨스의 저자로는 박사과정 학생 Samuel Schmidgall, 연구 엔지니어 Anton Deguet, 기계공학 부교수 Marin Kobilarov가 있습니다. 스탠포드 대학의 저자로는 박사과정 학생 Tony Z. Zhao가 있습니다.

출처: https://www.sciencedaily.com/releases/2024/11/241111123037.htm