AI 헤드폰은 '사운드 버블'을 생성하여 몇 피트 떨어진 곳의 모든 소리를 조용하게 합니다.

상상해보세요. 당신은 사무실에서 일하고 있고, 주변 수다를 줄이기 위해 소음 차단 헤드폰을 쓰고 있습니다. 동료가 당신의 책상에 와서 질문을 하지만, 헤드폰을 벗고 "뭐라고요?"라고 말할 필요 없이, 당신은 그 질문을 분명하게 듣습니다. 그러는 동안 방 건너편의 워터쿨러 수다거리는 소리가 계속 음소거되어 있습니다. 아니면 붐비는 식당에 있고, 당신의 테이블에 있는 모든 사람의 말을 듣지만, 식당의 다른 스피커와 소음은 줄이는 것을 상상해보세요.

워싱턴 대학의 연구자들이 이끄는 팀은 청취자가 바로 그런 "사운드 버블"을 만들 수 있는 헤드폰 프로토타입을 만들었습니다. 이 팀의 인공지능 알고리즘과 헤드폰 프로토타입을 결합하면 착용자는 3~6피트의 프로그래밍 가능한 반경을 가진 버블 안에서 사람들이 말하는 것을 들을 수 있습니다. 멀리 있는 소리가 버블 안의 소리보다 크더라도, 버블 밖의 목소리와 소리는 평균 49데시벨(진공과 나뭇잎 바스락거리는 소리의 차이)로 조용해집니다.

이 팀은 11월 14일에 Nature Electronics 에 연구 결과를 발표했습니다. 이 개념 증명 장치의 코드는 다른 사람들이 구축할 수 있도록 제공됩니다. 연구원들은 이 기술을 상용화하기 위해 스타트업을 만들고 있습니다.

"인간은 소리를 통해 거리를 인식하는 데 능숙하지 않습니다. 특히 주변에 여러 개의 음원이 있는 경우 더욱 그렇습니다." 폴 G. 앨런 컴퓨터 과학 및 공학 대학의 UW 교수이자 수석 저자인 샤얌 골라코타가 말했습니다. "주변에 있는 사람들에게 집중하는 우리의 능력은 시끄러운 레스토랑과 같은 장소에서는 제한될 수 있으므로 지금까지 히어러블에 사운드 버블을 만드는 것은 불가능했습니다. 우리의 AI 시스템은 실제로 방의 각 음원에 대한 거리를 학습하고 이를 청각 장치 자체에서 8밀리초 이내에 실시간으로 처리할 수 있습니다."

연구자들은 시중에서 판매되는 소음 제거 헤드폰으로 프로토타입을 만들었습니다. 그들은 헤드밴드에 작은 마이크 여섯 개를 부착했습니다. 헤드폰에 부착된 작은 온보드 임베디드 컴퓨터에서 실행되는 팀의 신경망은 각 마이크에 다른 소리가 도달하는 시점을 추적합니다. 그런 다음 시스템은 거품 외부에서 나오는 소리를 억제하는 동시에 거품 내부의 소리를 재생하고 약간 증폭합니다(소음 제거 헤드폰은 물리적으로 일부 소리를 통과시키기 때문입니다).

"우리는 이전에 마이크를 테이블에 펼친 스마트 스피커 시스템을 개발했습니다. 소리에 대한 거리 정보를 추출하기 위해 마이크 사이에 상당한 거리가 필요하다고 생각했기 때문입니다." 골라코타가 말했습니다. "하지만 우리는 가정에 의문을 품기 시작했습니다. 이 '사운드 버블'을 만들기 위해 큰 분리가 필요할까요? 여기서 보여준 것은 그렇지 않다는 것입니다. 헤드폰에 있는 마이크만으로 실시간으로 할 수 있었는데, 매우 놀랍습니다."

시스템이 다양한 환경에서 사운드 버블을 생성하도록 훈련하기 위해 연구자들은 실제 세계에서 수집된 거리 기반 사운드 데이터 세트가 필요했지만, 이는 사용할 수 없었습니다. 이러한 데이터 세트를 수집하기 위해 그들은 헤드폰을 마네킹 머리에 얹었습니다. 로봇 플랫폼이 머리를 돌리는 동안 움직이는 스피커가 다양한 거리에서 나오는 소리를 재생했습니다. 이 팀은 사무실과 생활 공간을 포함한 22개의 다양한 실내 환경에서 마네킹 시스템과 인간 사용자로 데이터를 수집했습니다.

연구자들은 이 시스템이 몇 가지 이유 때문에 작동한다는 것을 알아냈습니다. 첫째, 착용자의 머리는 소리를 반사하여 신경망이 다양한 거리에서 소리를 구별하는 데 도움이 됩니다. 둘째, 소리(예: 인간의 말)에는 여러 주파수가 있으며, 각 주파수는 출처에서 이동할 때 다른 위상을 거칩니다. 연구자들은 팀의 AI 알고리즘이 이러한 각 주파수의 위상을 비교하여 모든 음원(예: 말하는 사람)의 거리를 파악한다고 믿습니다.

Apple의 AirPods Pro 2와 같은 헤드폰은 착용자 앞에 있는 사람의 목소리를 증폭하는 동시에 일부 배경 소음을 줄일 수 있습니다. 하지만 이러한 기능은 거리를 측정하는 것이 아니라 머리 위치를 추적하고 특정 방향에서 오는 소리를 증폭하여 작동합니다. 즉, 헤드폰은 여러 스피커를 동시에 증폭할 수 없고, 착용자가 대상 스피커에서 머리를 돌리면 기능을 상실하며, 스피커 방향에서 나는 큰 소리를 줄이는 데 효과적이지 않습니다.

이 시스템은 실내에서만 작동하도록 훈련되었습니다. 깨끗한 훈련 오디오를 얻는 것이 실외에서 더 어렵기 때문입니다. 다음으로, 팀은 이 기술이 보청기와 소음 제거 이어버드에서 작동하도록 만들기 위해 노력하고 있으며, 이를 위해서는 마이크를 배치하기 위한 새로운 전략이 필요합니다.

추가 공동 저자는 Allen School의 UW 박사 과정 학생인 Malek Itani와 Tuochao Chen, Microsoft의 수석 연구원인 Sefik Emre Eskimez, AssemblyAI의 연구 책임자인 Takuya Yoshioka입니다. 이 연구는 Moore Inventor Fellow 상, UW CoMotion Innovation Gap Fund 및 National Science Foundation의 지원을 받았습니다.

출처: https://www.sciencedaily.com/releases/2024/11/241114161302.htm