총성을 감지하여 범죄를 줄이는 AI 'ShotSpotter'가 도시를 혼란에 빠뜨리고 있다

미국 일리노이주의 시카고에서 총기폭력의 근절과 치안향상을 위해 'ShotSpotter'라는 AI 구동 총성감지센서가 설치되어 있습니다. ShotSpotter는 총소리를 감지하여 그 총성이 어디에서 발생했는지에 대해 분석하여 정보를 경찰에게 전달하는데, 최근에는 ShotSpotter가 총기폭력을 줄이는 데 도움이 되지 않을 뿐만 아니라 생사람을 잡고 있다는 지적이 많습니다.

Police Are Telling ShotSpotter to Alter Evidence From Gunshot-Detecting AI
https://www.vice.com/en/article/qj8xbq/police-are-telling-shotspotter-to-alter-evidence-from-gunshot-detecting-ai

Police Are Telling ShotSpotter to Alter Evidence From Gunshot-Detecting AI

2020년 5월 31일에 25세의 사파라인 헤링 씨가 머리에 총상을 입고 사망한 사건은 ShotSpotter가 활용된 결과 64세의 마이클 윌리엄스라는 남성이 체포되었습니다. 이 사건이 일어난 23시 46분 거리에 설치된 ShotSpotter는 어느 '소리'를 감지했습니다. 당초 ShotSpotter의 알고리즘은 소리를 '폭죽소리'로 인식했습니다. 당시는 조지 플로이드의 죽음에 대한 항의시위가 일어나고 있었으며, 데모와 관련있는 폭죽놀이라고 생각되었습니다.

그런데 ShotSpotter의 애널리스트는 알고리즘을 사용하지 않고 수동으로 전환하여 분석한 결과, 소리가 총성이라고 판단했습니다. 또 수개월 경과된 시점에서 사건의 조사가 이루어질 때 다른 ShotSpotter의 애널리스트는 소리가 감지된 좌표를 당시 윌리엄스 씨가 머물던 구획이라고 결정했습니다. 감시카메라의 영상에서 차량에 타고 있던 윌리엄스 씨가 용의자로 체포되었습니다. 윌리엄스 씨는 달려가는 차에서 누군가가 헤링 씨를 쐈다고 주장했습니다.

재판에서 윌리엄스 씨의 국선변호인은 판사에 ShotSpotter가 법적증거가 될 정당성을 갖추었는지 검토하도록 요청했습니다. 국선변호인은 "사람이 참여하는 이 같은 방법으로 ShotSpotter의 출력 내용은 '어떠한 형사사건에 관련없는 데이터'가 '윌리엄스 씨가 관련된 살인사건의 중심이 되는 데이터'로 극적인 변화를 이루었다"고 주장했습니다. 결국 검찰은 ShotSpotter를 사용한 증거를 모두 철회했다고 합니다.

ShotSpotter는 미국의 100개 도시에서 이용되고 있으며, 연간 2만 1000건의 알림을 생성했습니다. 경찰의 요청에 따라 ShotSpotter의 애널리스트는 알고리즘에 감지된 데이터를 수동으로 분석하는 경우도 많기 때문에, 위와 같은 사례는 드물지 않다고 합니다.

그러나 ShotSpotter의 마케팅 및 제품전략담당 수석부사장인 샘 크레파 씨는 지금까지 190건의 재판에서 ShotSpotter의 기술과 직원의 증언이 인정되었다며 윌리엄스 씨의 재판에서 검찰 이 ShotSpotter를 사용한 증거를 철회한 것이 자사의 기술에 대한 신뢰가 없어졌다고는 말할 수 없다고 주장했습니다.

또 크레파 씨는 알고리즘이 아니라 분석가가 수동으로 좌표를 분석하는 경우가 있다고 인정하면서 "90% 이상은 기계에 의한 분석입니다. 극소수의 경우 위치의 정확성에 대한 검증하도록 고객이 위치분석을 요청합니다. 만약 오류가 있는 경우 조사를 지원하기 위해 고객에게 보다 정확한 위치를 제공한다"고 설명합니다.

ShotSpotter는 97%의 정확도를 가졌다고 주장하고 있습니다만, 이 숫자는 엔지니어에 의해 산출된 것이 아니라 영업마케팅팀에 의해 보장되어 있다는 점도 우려되는 부분입니다. 실제로 2021년 5월 맥아더사법센터가 ShotSpotter의 데이터분석을 실시한 결과, 지난 21개월 동안 시카고에서 발생한 알림의 89%가 총기범죄의 증거가 아니었고 86%가 어떤 범죄의 증거도 되지 않았다며 그 효과에 의구심을 나타냅니다.

또 ShotSpotter를 배치하고도 도시의 범죄는 감소하지 않는다는 연구결과도 늘어갔습니다. 남일리노이대학의 에드워즈빌캠퍼스의 연구는 '세인트루이스의 ShotSpotter는 총기 관련 범죄억제에 거의 영향을 주지 못했고 경찰의 응답시간의 일관된 단축없이 실질적인 결과를 만들어내는 데 도움이 되지 않았다'라고 기록했습니다. 실제로 '허위 경보가 많아 투자수익이 나쁘다고 ShotSpotter와의 계약을 해지하는 고객도 존재한다는 합니다.

시카고는 ShotSpotter의 주요 고객 중 하나이며, 2017년부터 2021년까지 9만 4313건의 총격알림이 울렸습니다. 이는 연간 평균 2만 958건에 해당합니다.

2021년 4월 시카고에서 양손을 든 13세의 아담 톨레도 군이 경찰에 사살되었습니다만, 이 사건에서도 ShotSpotter의 알림이 울렸습니다. 인종과 경제에 관한 활동센터의 아리쿠스 굿윈 씨는 "이런 도구는 더 많은 경찰을 흑인이나 라틴계가 사는 지역에 출동하도록 합니다.ShotSpotter의 알림은 흑인이나 라틴계 사람들을 경찰관과 관련된 위험에 노출시킵니다. 이것이 아담 톨레도 군의 몸에 일어난 것"이라고 주장합니다.

실제로 뉴스미디어 Motherboard가 입수한 자료에는 시카고에서의 총기폭력은 거리에서 일어나고 있음에도 불구하고 ShotSpotter의 센서가 흑인과 라틴계가 사는 지역에만 배치되어 있는 것으로 나타났고 도시의 북부와 북서부 등 백인이 많이 사는 지역에는 센서가 없었다고 합니다.