인간 행동 탐지 기술의 AI 혁신

보안 카메라가 비디오를 캡처할 뿐만 아니라 무슨 일이 일어나고 있는지 이해하고 일상적인 활동과 잠재적으로 위험한 행동을 실시간으로 구별할 수 있다면 어떨까요? 이는 버지니아 대학교 공학 및 응용 과학 대학의 연구자들이 최신 혁신을 통해 형성하고 있는 미래입니다. 전례 없는 정밀도와 지능으로 영상에서 인간의 행동을 감지할 수 있는 AI 기반 지능형 비디오 분석기입니다.

SMAST(Semantic and Motion-Aware Spatiotemporal Transformer Network)라 불리는 이 시스템은 감시 시스템을 강화하고 공공 안전을 개선하는 것부터 의료 분야에서 보다 진보된 동작 추적을 가능하게 하고 자율 주행차가 복잡한 환경을 탐색하는 방식을 개선하는 것까지 광범위한 사회적 혜택을 제공할 것을 약속합니다.

"이 AI 기술은 가장 까다로운 환경에서 실시간 액션 감지의 문을 열어줍니다." 전기 및 컴퓨터 공학과 교수이자 학과장인 Scott T. Acton과 이 프로젝트의 수석 연구원이 말했습니다. "사고를 예방하고 진단을 개선하며 심지어 생명을 구하는 데 도움이 될 수 있는 종류의 발전입니다."

복잡한 비디오 분석을 위한 AI 기반 혁신

그렇다면 어떻게 작동할까요? SMAST는 핵심적으로 인공지능에 의해 구동됩니다. 이 시스템은 두 가지 핵심 구성 요소를 사용하여 복잡한 인간 행동을 감지하고 이해합니다. 첫 번째는 다중 기능 선택적 주의 모델로, AI가 불필요한 세부 사항을 무시하면서 사람 또는 사물과 같은 장면의 가장 중요한 부분에 집중할 수 있도록 돕습니다. 이를 통해 시스템은 팔을 움직이는 대신 공을 던지는 사람을 인식하는 것과 같이 무슨 일이 일어나고 있는지 더 정확하게 식별할 수 있습니다.

두 번째 주요 기능은 모션 인식 2D 위치 인코딩 알고리즘으로, AI가 시간이 지남에 따라 사물이 어떻게 움직이는지 추적하는 데 도움이 됩니다. 사람들이 끊임없이 자세를 바꾸는 비디오를 보는 것을 상상해보세요. 이 도구는 AI가 이러한 움직임을 기억하고 서로 어떻게 관련이 있는지 이해하는 데 도움이 됩니다. 이러한 기능을 통합함으로써 SMAST는 복잡한 동작을 실시간으로 정확하게 인식할 수 있어 감시, 의료 진단 또는 자율 주행과 같은 고위험 시나리오에서 더욱 효과적입니다.

SMAST는 기계가 인간의 행동을 감지하고 해석하는 방식을 재정의합니다. 현재 시스템은 혼란스럽고 편집되지 않은 연속된 비디오 영상으로 어려움을 겪고 종종 사건의 맥락을 놓치고 있습니다. 하지만 SMAST의 혁신적인 디자인을 통해 사람과 사물 간의 역동적인 관계를 놀라운 정확도로 포착할 수 있으며, 이는 데이터에서 학습하고 적응할 수 있는 바로 그 AI 구성 요소로 구동됩니다.

액션 감지 기술에서 새로운 표준 설정

이 기술적 도약은 AI 시스템이 도로를 건너는 주자, 정확한 절차를 수행하는 의사, 심지어 혼잡한 공간에서의 보안 위협과 같은 행동을 식별할 수 있다는 것을 의미합니다. SMAST는 이미 AVA, UCF101-24 및 EPIC-Kitchens를 포함한 주요 학술 벤치마크에서 최고 수준의 솔루션을 능가하여 정확성과 효율성에 대한 새로운 기준을 설정했습니다.

"사회적 영향은 엄청날 수 있습니다." 액튼 연구실에서 프로젝트를 진행하는 박사후 연구원 매튜 코반이 말했다. "이 AI 기술이 산업을 어떻게 변화시켜 비디오 기반 시스템을 더욱 지능적으로 만들고 실시간 이해 능력을 갖추게 할지 기대됩니다."

이 연구는 IEEE Transactions on Pattern Analysis and Machine Intelligence 에 게재된 논문 "A Semantic and Motion-Aware Spatiotemporal Transformer Network for Action Detection"에 게재된 연구를 기반으로 합니다 . 이 논문의 저자는 University of Virginia의 Matthew Korban, Peter Youngs, Scott T. Acton입니다.

이 프로젝트는 미국 국립과학재단(NSF)의 보조금 2000487과 보조금 2322993으로 지원되었습니다.

출처: https://www.sciencedaily.com/releases/2024/10/241017113523.htm