대부분의 AI는 시계와 달력을 읽는 데 어려움을 겪는다

세계에서 가장 진보된 AI 시스템 중 일부가 시간을 알아내고 달력에서 날짜를 계산하는 데 어려움을 겪는다는 연구 결과가 나왔습니다.

AI 모델은 논문 쓰기나 예술 작품 창작과 같은 복잡한 작업을 수행할 수 있지만, 인간이 쉽게 수행할 수 있는 일부 기술은 아직 완벽히 익히지 못했다고 연구자들은 말합니다.

에든버러 대학의 한 팀은 최첨단 AI 모델이 시계 바늘 위치를 안정적으로 해석하거나 달력의 날짜에 대한 질문에 올바르게 답할 수 없다는 것을 보여주었습니다.

단순히 모양을 인식하는 것과 달리 아날로그 시계와 달력을 이해하려면 공간 인식, 맥락 및 기본 수학의 조합이 필요합니다. 이는 AI에게는 여전히 어려운 문제라고 연구팀은 말합니다.

연구자들은 이를 극복하면 AI 시스템이 시각 장애인을 위한 일정 관리 보조원, 자율 로봇, 도구 등 시간에 민감한 애플리케이션을 구동할 수 있을 것이라고 말합니다.

연구팀은 텍스트와 이미지를 처리하는 AI 시스템(멀티모달 대규모 언어 모델(MLLM)이라고 함)이 시계나 달력 그림을 보고 시간과 관련된 질문에 답할 수 있는지 테스트했습니다.

연구자들은 로마 숫자, 초침이 있는 디자인과 없는 디자인, 다양한 색상의 다이얼을 포함한 다양한 시계 디자인을 테스트했습니다.

연구 결과에 따르면 AI 시스템이 시계바늘의 위치를 ​​정확하게 맞춘 경우는 기껏해야 4분의 1도 안 됐습니다.

시계에 로마 숫자나 양식화된 시계바늘이 있을 때는 실수가 더 흔했습니다.

연구팀은 초침을 제거했을 때에도 AI 시스템의 성능이 전혀 나아지지 않았다고 밝혔는데, 이는 손 감지와 각도 해석에 근본적인 문제가 있음을 시사한다고 밝혔습니다.

연구자들은 AI 모델에 휴일 식별, 과거와 미래 날짜 계산 등 다양한 달력 기반 질문에 답하도록 요청했습니다.

연구팀은 가장 성능이 좋은 AI 모델조차도 날짜 계산을 1/5의 확률로 틀렸다는 것을 발견했습니다.

연구 결과는 2025년 4월 28일 싱가포르에서 열리는 제13회 학습 표현 국제회의(ICLR)의 대규모 언어 모델을 위한 추론 및 계획 워크숍에서 발표될 심사평가 논문에 보고되었습니다.

연구를 주도한 에든버러 대학교 정보학부의 로히트 삭세나는 "대부분의 사람들은 어린 나이부터 시간을 알고 달력을 사용할 수 있습니다. 저희의 연구 결과는 AI가 사람들에게 매우 기본적인 기술을 수행하는 능력에 상당한 격차가 있음을 강조합니다. AI 시스템이 스케줄링, 자동화 및 보조 기술과 같은 시간에 민감한 실제 세계 애플리케이션에 성공적으로 통합되려면 이러한 단점을 해결해야 합니다."라고 말했습니다.

또한 School of Informatics의 Aryo Gema는 "오늘날 AI 연구는 종종 복잡한 추론 작업을 강조하지만, 아이러니하게도 많은 시스템이 더 단순하고 일상적인 작업에 관해서는 여전히 어려움을 겪고 있습니다. 저희의 연구 결과는 이러한 근본적인 격차를 해결할 때가 되었다고 시사합니다.

그렇지 않으면 AI를 현실 세계의 시간에 민감한 애플리케이션에 통합하는 것이 마지막 순간에 멈춰 버릴 수 있습니다."라고 말했습니다.

출처: https://www.sciencedaily.com/releases/2025/03/250313130557.htm