AI 사용자에게 훈련 데이터에서 다양성을 보여주면 인식된 공정성과 신뢰도가 높아진다

홈 어시스턴트, 검색 엔진 또는 ChatGPT와 같은 대규모 언어 모델과 같은 인공 지능(AI) 시스템은 거의 전지전능해 보일 수 있지만, 그 출력은 훈련된 데이터만큼만 좋습니다. 그러나 사용 편의성으로 인해 사용자는 종종 어떤 훈련 데이터가 사용되었는지 또는 누가 데이터를 준비했는지 이해하지 못한 채 AI 시스템을 채택하게 되며, 여기에는 데이터나 훈련자가 보유한 잠재적 편향이 포함됩니다. 펜실베이니아 주립대 연구자들의 새로운 연구에 따르면 이 정보를 공개하면 AI 시스템에 대한 적절한 기대치를 형성하고 사용자가 이러한 시스템을 사용할지 여부와 방법에 대해 더 정보에 입각한 결정을 내리는 데 도움이 될 수 있습니다.

이 연구는 인종적 다양성 단서(AI 인터페이스에서 훈련 데이터의 인종적 구성과 이를 레이블링한 일반적으로 크라우드 소싱된 근로자의 배경을 전달하는 시각적 신호)를 표시하는 것이 알고리즘적 공정성과 신뢰에 대한 사용자의 기대를 높일 수 있는지 조사했습니다. 그들의 연구 결과는 최근 저널 Human-Computer Interaction에 게재되었습니다.

펜실베이니아 주립 대학의 사회적 책임 인공지능 센터 소장이자 에반 푸 대학교 교수인 S. 샤얌 순다르에 따르면, AI 훈련 데이터는 종종 인종, 성별 및 기타 특성 측면에서 체계적으로 편향되어 있습니다.

그는 "사용자는 특정 AI 시스템을 사용함으로써 편향된 인간의 의사결정을 영속시킬 수 있다는 사실을 깨닫지 못할 수도 있다"고 말했습니다.

펜실베이니아 주립대에서 대중 커뮤니케이션학 박사 학위를 취득한 엘론대 커뮤니케이션 디자인 조교수이자 이 논문의 주저자인 청 "크리스" 첸은 사용자가 AI 시스템에 내재된 편향을 평가할 수 없는 경우가 많은데, 그 이유는 훈련 데이터나 훈련자에 대한 정보가 없기 때문이라고 설명했습니다.

"이러한 편향은 사용자가 작업을 완료한 후에 나타나며, 이는 이미 피해가 발생했기 때문에 사용자는 AI를 사용하기 전에 이를 신뢰할지 여부를 결정할 수 있는 충분한 정보가 없다는 것을 의미합니다."라고 Chen은 말했습니다.

선다르는 한 가지 해결책은 훈련 데이터의 특성, 특히 인종 구성을 전달하는 것이라고 말했습니다.

"이것이 우리가 이 실험 연구에서 한 일이며, 이것이 시스템에 대한 인식에 어떤 변화를 가져올지 알아내는 것이 목표입니다."라고 Sundar는 말했습니다.

연구자들은 다양성 신호가 AI 시스템의 신뢰에 어떤 영향을 미치는지 이해하기 위해 다양한 조건과 다양하지 않은 조건의 두 가지 실험 조건을 만들었습니다. 전자에서 참가자는 기계 학습 모델과 데이터 레이블 지정 관행에 대한 간략한 설명과 함께 훈련 데이터에서 얼굴 이미지가 균등하게 분포된 것을 보여주는 막대 그래프를 보았습니다. 이 세 인종 그룹, 즉 백인, 흑인, 아시아인은 각각 데이터 세트의 약 1/3을 차지합니다. 인종적 다양성이 없는 조건에서 막대 그래프는 이미지의 92%가 단일 우세 인종 그룹에 속한다는 것을 보여주었습니다. 마찬가지로 레이블러의 배경에 대해서도 백인, 흑인, 아시아인 레이블러가 각각 약 1/3씩 차지하는 균형 잡힌 표현이 유지되었습니다. 다양하지 않은 조건에서는 레이블러의 92%가 단일 인종 그룹에 속한다는 것을 전달하는 막대 그래프가 나타났습니다.

참가자들은 먼저 HireMe라는 AI 기반 얼굴 표정 분류 AI 도구의 훈련 데이터 특성을 보여주는 데이터 카드를 검토했습니다. 그런 다음 그들은 다른 인종의 동등한 자격을 갖춘 세 명의 남성 후보자에 대한 자동 인터뷰를 시청했습니다. 후보자의 중립적인 얼굴 표정과 어조는 AI 시스템에 의해 실시간으로 분석되어 참가자들에게 제시되었으며, 가장 두드러진 표정과 각 후보자의 고용 가능성을 강조했습니다.

참가자의 절반은 시스템에 의한 인종적 편견에 노출되었는데, 실험자들이 백인 후보자를 선호하도록 조작하여 그의 중립적 표현을 즐겁고 직무에 적합하다고 평가한 반면, 흑인과 아시아계 후보자의 표현은 각각 분노와 두려움으로 해석했습니다. 편견 없는 조건에서 AI는 각 후보자의 두드러진 표현으로 즐거움을 식별하고 직위에 적합하다고 동일하게 지적했습니다. 그런 다음 참가자에게 AI 분석에 대한 피드백을 제공하고 5점 척도로 동의를 평가하고 동의하지 않을 경우 가장 적절한 감정을 선택하도록 요청했습니다.

"우리는 훈련 데이터와 라벨러의 배경에서 인종적 다양성을 보여주는 것이 사용자의 AI에 대한 신뢰를 높이는 것을 발견했습니다."라고 첸은 말했습니다. "피드백을 제공할 수 있는 기회는 또한 참가자들이 더 높은 행위 감각을 개발하고 미래에 AI 시스템을 사용할 수 있는 잠재력을 높이는 데 도움이 되었습니다."

그러나 연구자들은 편향되지 않은 시스템에 대한 피드백을 제공하면 백인 참가자들의 사용성이 떨어진다고 지적했습니다. 그들은 시스템이 이미 올바르고 공정하게 작동하고 있다고 인식했기 때문에 피드백을 제공할 필요성이 거의 없다고 생각했고 불필요한 부담으로 여겼습니다.

연구자들은 여러 인종적 다양성 단서가 존재할 때, 그것들은 독립적으로 작동하지만, 데이터 다양성과 라벨러 다양성 단서 모두 시스템의 공정성에 대한 사용자의 인식을 형성하는 데 효과적이라는 것을 발견했습니다. 연구자들은 대표성 휴리스틱이라는 아이디어를 강조했는데, 이는 사용자가 인종적 구성이 다양성에 대한 이해와 일치하면 AI 모델의 훈련이 인종적으로 포용적이라고 믿는 경향이 있다는 것을 의미합니다.

"AI가 주로 한 인종의 사람들이 레이블을 붙인 표정을 학습하고 있다면, 이 시스템은 다른 인종의 감정을 잘못 표현할 수 있습니다." 펜실베이니아 주립대 벨리사리오 커뮤니케이션 대학의 미디어 효과 제임스 P. 지미로 교수이자 미디어 효과 연구실의 공동 책임자인 선다르의 말이다. "예를 들어, 이 시스템은 얼굴이 쾌활한지 화가 났는지 판단할 때 인종을 고려해야 하며, 이는 훈련 과정에서 이미지와 레이블러 모두의 인종적 다양성이 더 커지는 형태로 나타납니다."

연구자들에 따르면, AI 시스템이 신뢰할 수 있으려면 학습 데이터의 출처를 공개해야 하며, 사용자가 이를 검토하고 자세히 살펴서 신뢰 수준을 판단할 수 있어야 합니다.

"이 정보를 접근 가능하게 만드는 것은 AI 시스템의 투명성과 책임을 증진합니다." Sundar가 말했습니다. "사용자가 이 정보에 접근하지 않더라도, 그 정보를 이용할 수 있다는 것은 윤리적 관행을 나타내며, 이러한 시스템에 대한 공정성과 신뢰를 증진합니다."

출처: https://www.sciencedaily.com/releases/2024/10/241022104448.htm