연구원들은 실제 학생들을 대상으로 ChatGPT 및 기타 AI 모델을 테스트합니다.

Oregon Health & Science University에서 여러 세대의 의학 및 임상 정보학 학생들을 가르친 William Hersh, MD는 인공지능의 영향력이 커지는 것에 대해 호기심을 느꼈습니다. 그는 AI가 자신의 수업에서 어떤 성과를 낼지 궁금했습니다.

그래서 그는 실험을 하기로 결심했습니다.

그는 인기 있는 생물의학 및 건강 정보학 입문 과정의 온라인 버전에서 ChatGPT와 같은 6가지 형태의 생성적, 대규모 언어 AI 모델을 테스트하여 살아있는 사고하는 학생들과 비교했을 때 어떤 성과를 보이는지 확인했습니다. 저널 npj Digital Medicine 에 게재된 연구에서 답이 밝혀졌습니다. 인간 학생의 4분의 3보다 더 나은 성과를 보였습니다.

"이것은 부정행위에 대한 우려를 불러일으키지만, 여기에는 더 큰 문제가 있습니다." 허쉬가 말했다. "우리 학생들이 미래의 직업에 필요한 지식과 기술을 실제로 배우고 습득하고 있다는 것을 어떻게 알 수 있을까요?"

OHSU 의대의 의료 정보학 및 임상 역학 교수인 Hersh는 특히 새로운 기술에 민감합니다. Hersh는 교육에서 기술의 역할은 새로운 것이 아니며, 1970년대 슬라이드 룰에서 계산기로 전환하던 고등학생 시절의 자신의 경험을 회상했습니다.

그러나 생성적 AI로의 전환은 기하급수적 발전을 의미합니다.

"분명히 모든 사람은 자신의 분야에 대한 어떤 종류의 지식 기반을 가져야 합니다." 허쉬가 말했다. "사람들이 비판적으로 생각할 수 있도록 기대하는 지식 기반은 무엇입니까?"

대규모 언어 모델

허쉬와 공동 저자인 OHSU 정보학자 케이트 풀츠 홀리스는 2023년에 생물의학 및 건강 정보학 입문 과정을 수강한 139명의 학생의 지식 평가 점수를 뽑았습니다. 그들은 과정의 학생 평가 자료를 사용하여 6개의 생성적 AI 대규모 언어 모델을 만들었습니다. 모델에 따라 AI는 퀴즈에 사용된 객관식 문제와 질문에 대한 짧은 서면 응답이 필요한 기말고사에서 상위 50 ~ 75%의 점수 를 받았습니다.

저자들은 "이 연구 결과는 대부분의 학문 분야, 아니 모든 학문 분야에서 학생 평가의 미래에 대해 중대한 의문을 제기합니다."라고 기술했습니다.

이 연구는 생물의학 분야의 전체 학업 과정을 수강하는 학생들과 대규모 언어 모델을 비교한 최초의 연구입니다. Hersh와 Fultz Hollis는 이와 같은 지식 기반 과정이 학생들이 더 복잡한 기술과 능력을 개발하도록 돕는 참여형 학업 과정과 대조적으로 생성적이고 대규모 언어 모델에 특히 적합할 수 있다고 언급했습니다.

허쉬는 의대 시절의 경험을 기억합니다.

"제가 의대생이었을 때, 제 담당 의사 중 한 명이 제 머릿속에 모든 지식을 담아야 한다고 말했습니다."라고 그는 말했습니다. "1980년대에도 그것은 지나친 주장이었습니다. 의학에 대한 지식 기반은 인간의 뇌가 모든 것을 기억할 수 있는 능력을 훨씬 넘어섰습니다."

인간의 접촉을 유지하다

그러나 그는 학습을 진전시키기 위해 기술 리소스를 현명하게 사용하는 것과 학습을 저해하는 지경까지 지나치게 의존하는 것 사이에는 미묘한 경계선이 있다고 믿습니다. 궁극적으로 OHSU와 같은 학술 건강 센터의 목표는 환자를 돌보고 현실 세계에서 환자에 대한 데이터와 정보 사용을 최적화할 수 있는 의료 전문가를 교육하는 것입니다.

그런 의미에서 의학은 항상 인간의 접촉을 필요로 한다고 그는 말했습니다.

"의료진이 하는 일 중에는 꽤 간단한 것들이 많지만, 더 복잡해지고 판단을 내려야 하는 경우도 있습니다."라고 그는 말했습니다. "그럴 때 모든 사실을 머릿속에 꼭 집어넣을 필요 없이 더 넓은 관점을 갖는 것이 도움이 됩니다."

허쉬는 가을 학기가 곧 시작되므로 부정행위에 대해 걱정하지 않는다고 말했습니다.

"저는 매년 과정을 업데이트합니다."라고 그는 말했습니다. "모든 과학 분야에서 항상 새로운 발전이 있고, 대규모 언어 모델은 반드시 모든 것에 대해 최신이 아닙니다. 이는 ChatGPT에서 답을 얻을 수 없는 더 새롭거나 더 미묘한 테스트를 살펴봐야 한다는 것을 의미합니다."

출처: https://www.sciencedaily.com/releases/2024/09/240916153435.htm