과학자들은 뇌를 모방해 영상을 '보는' AI를 만들었다

움직이는 이미지를 인간의 뇌의 미묘함으로 보고 이해할 수 있는 인공 지능(AI) 모델을 상상해 보세요. 이제 Scripps Research의 과학자들은 MovieNet을 만들어 이를 현실로 만들었습니다. MovieNet은 시간이 지남에 따라 전개되는 실제 장면을 우리 뇌가 해석하는 방식과 매우 유사한 방식으로 비디오를 처리하는 혁신적인 AI입니다.

2024년 11월 19일 미국 국립과학원 회보 에 게재된 연구에 자세히 나와 있는 이 뇌에서 영감을 받은 AI 모델은 뉴런(또는 뇌 세포)이 실시간으로 세상을 이해하는 방식을 시뮬레이션하여 움직이는 장면을 인식할 수 있습니다. 기존 AI는 정지 이미지를 인식하는 데 뛰어나지만 MovieNet은 기계 학습 모델이 복잡하고 변화하는 장면을 인식하는 방법을 도입합니다. 이는 의료 진단에서 자율 주행으로 분야를 전환할 수 있는 획기적인 기술로, 시간이 지남에 따라 미묘한 변화를 식별하는 것이 중요합니다. MovieNet은 또한 기존 AI보다 정확하고 환경적으로 지속 가능합니다.

"뇌는 정지된 프레임만 보는 것이 아니라 지속적인 시각적 서사를 만듭니다." 스크립스 연구소의 Dorris Neuroscience Center 소장이자 Hahn 신경과학 교수인 수석 저자 Hollis Cline 박사가 말했습니다. "정적 이미지 인식은 크게 발전했지만, 영화를 보는 것과 같이 흐르는 장면을 처리하는 뇌의 능력에는 훨씬 더 정교한 형태의 패턴 인식이 필요합니다. 뉴런이 이러한 시퀀스를 어떻게 포착하는지 연구함으로써 우리는 유사한 원리를 AI에 적용할 수 있었습니다."

MovieNet을 만들기 위해 Cline과 Scripps Research의 직원 과학자인 첫 번째 저자 Masaki Hiramoto는 뇌가 영화 클립과 비슷한 짧은 시퀀스로 실제 장면을 처리하는 방식을 조사했습니다. 구체적으로 연구자들은 올챙이 신경 세포가 시각적 자극에 어떻게 반응하는지 연구했습니다.

"올챙이는 시각 시스템이 매우 뛰어나고, 움직이는 자극을 효율적으로 감지하고 반응할 수 있다는 사실도 알려져 있습니다."라고 히라모토는 설명합니다.

그와 클라인은 밝기 변화와 이미지 회전과 같은 영화와 같은 특징에 반응하고 물체가 움직이고 변할 때 인식할 수 있는 뉴런을 식별했습니다. 시신경이라고 알려진 뇌의 시각 처리 영역에 위치한 이 뉴런은 움직이는 이미지의 일부를 일관된 시퀀스로 조립합니다.

이 과정을 렌즈형 퍼즐과 비슷하다고 생각하세요. 각 조각만으로는 의미가 없을 수 있지만, 함께 모이면 움직이는 완전한 이미지를 형성합니다. 서로 다른 뉴런이 실제 움직이는 이미지의 다양한 "퍼즐 조각"을 처리하고, 뇌는 이를 연속적인 장면으로 통합합니다.

연구자들은 또한 올챙이의 시신경 피질 뉴런이 시간이 지남에 따라 시각적 자극의 미묘한 변화를 구별하여 정지 프레임이 아닌 약 100~600밀리초의 동적 클립으로 정보를 포착한다는 것을 발견했습니다. 이러한 뉴런은 빛과 그림자의 패턴에 매우 민감하며, 각 뉴런이 시야의 특정 부분에 반응하면 장면의 자세한 지도를 구성하여 "영화 클립"을 형성하는 데 도움이 됩니다.

클라인과 히라모토는 MovieNet을 훈련시켜 이러한 뇌와 유사한 처리를 에뮬레이트하고 비디오 클립을 일련의 작고 인식 가능한 시각적 단서로 인코딩했습니다. 이를 통해 AI 모델은 동적 장면 간의 미묘한 차이를 구별할 수 있었습니다.

MovieNet을 테스트하기 위해 연구자들은 다양한 조건에서 수영하는 올챙이의 비디오 클립을 보여주었습니다. MovieNet은 정상적인 수영 행동과 비정상적인 수영 행동을 구별하는 데 82.3%의 정확도를 달성했을 뿐만 아니라, 훈련된 인간 관찰자의 능력을 약 18% 능가했습니다. 심지어 광범위한 훈련 및 처리 리소스에도 불구하고 정확도가 72%에 불과한 Google의 GoogLeNet과 같은 기존 AI 모델보다 성능이 뛰어났습니다.

클라인은 "여기서 우리는 진정한 잠재력을 보았습니다"라고 지적했습니다.

팀은 MovieNet이 변화하는 장면을 이해하는 데 있어 현재의 AI 모델보다 뛰어날 뿐만 아니라 데이터와 처리 시간을 덜 사용한다는 것을 확인했습니다. MovieNet은 정확성을 희생하지 않고 데이터를 단순화하는 능력도 기존 AI와 차별화합니다. MovieNet은 시각적 정보를 필수적인 시퀀스로 분해하여 중요한 세부 정보를 유지하는 압축 파일처럼 데이터를 효과적으로 압축합니다.

MovieNet은 높은 정확도 외에도 친환경 AI 모델입니다. 기존 AI 처리에는 엄청난 에너지가 필요하여 환경에 큰 영향을 미칩니다. MovieNet의 감소된 데이터 요구 사항은 높은 표준에서 성능을 발휘하면서도 에너지를 보존하는 친환경적 대안을 제공합니다.

"뇌를 모방함으로써 우리는 AI를 훨씬 덜 요구하게 만들어서 강력할 뿐만 아니라 지속 가능한 모델을 위한 길을 열었습니다." 클라인이 말했습니다. "이러한 효율성은 또한 기존 방법이 비용이 많이 드는 분야에서 AI를 확장할 수 있는 문을 열어줍니다."

또한 MovieNet은 의학을 재편할 잠재력이 있습니다. 기술이 발전함에 따라 불규칙한 심장 박동을 감지하거나 파킨슨병과 같은 신경 퇴행성 질환의 첫 징후를 발견하는 것과 같이 초기 단계의 미묘한 변화를 식별하는 데 귀중한 도구가 될 수 있습니다. 예를 들어, 인간의 눈으로는 종종 식별하기 어려운 파킨슨병과 관련된 작은 운동 변화는 AI가 일찍 플래그를 지정하여 임상의가 개입할 수 있는 귀중한 시간을 제공할 수 있습니다.

더욱이 MovieNet은 올챙이가 화학 물질에 노출되었을 때 올챙이의 수영 패턴이 변하는 것을 감지할 수 있는 능력을 갖추고 있으며, 이를 통해 과학자들은 정적인 스냅샷에 의존하기보다는 역동적인 세포 반응을 연구할 수 있어 더욱 정확한 약물 스크리닝 기술을 개발하는 데 도움이 될 수 있습니다.

"현재의 방법은 일정 간격으로 촬영한 이미지만 분석할 수 있기 때문에 중요한 변화를 놓칩니다."라고 히라모토는 말합니다. "시간 경과에 따른 세포 관찰은 MovieNet이 약물 테스트 중에 가장 미묘한 변화도 추적할 수 있다는 것을 의미합니다."

앞으로 클라인과 히라모토는 MovieNet이 다양한 환경에 적응하는 능력을 계속 개선하여 다재다능함과 잠재적 응용 분야를 향상시킬 계획입니다.

클라인은 "생물학에서 영감을 얻는 것은 AI를 발전시키는 데 있어 계속해서 비옥한 영역이 될 것입니다."라고 말합니다. "살아있는 유기체처럼 생각하는 모델을 설계함으로써 우리는 기존의 접근 방식으로는 단순히 불가능한 수준의 효율성을 달성할 수 있습니다."

" 영화 인코딩 뉴런 식별을 통한 영화 인식 AI 구현 " 이라는 연구에 대한 이 작업은 미국 국립보건원(RO1EY011261, RO1EY027437 및 RO1EY031597), Hahn Family Foundation 및 Harold L. Dorris Neurosciences Center Endowment Fund의 자금 지원을 받았습니다.

출처: https://www.sciencedaily.com/releases/2024/12/241209163200.htm