Wi-Fi로 벽 너머의 인물이나 물체를 특정하는 일부 연구에는 오류가 있다는 지적

최근 Wi-Fi 전파를 사용하여 벽 너머의 사람의 움직임을 모델링하거나 인물을 식별하는 기술 개발이 활발히 이루어지고 있습니다. 그러나 앨버타대학의 앤드류 월시 교수는 이러한 연구에 대해 "시계열 데이터를 취급하는 방법을 잘못하고 있다"고 지적했습니다.

Researchers Misrepresenting the Capability of Human Pose Estimation from WiFi Channel Strength Indicators | by Andrew Walsh MD. PhD. | Medium
https://medium.com/@tsardoz/researchers-misrepresenting-the-capability-of-human-pose-estimation-from-wifi-channel-strength-4ec4d2f871a4

Researchers Misrepresenting the Capability of Human Pose Estimation from WiFi Channel Strength…

Wi-Fi의 채널 강도 지표(CSI)를 이용하여 인간의 행동과 자세를 추정하는 연구는 최근 몇 년 동안 진행되고 있으며, 일부 연구는 마치 카메라로 촬영한 영상을 보고 있는 것과 같은 결과를 얻을 수 있다고 주장합니다.

Reading Through Walls With WiFi
https://web.ece.ucsb.edu/~ymostofi/WiFiReadingThroughWall

Wifi can read through walls | The Current
https://news.ucsb.edu/2023/021198/wifi-can-read-through-walls

그러나 Wi-Fi의 CSI에 관한 한 연구논문의 데이터를 조사한 월시 씨는 연구팀이 시계열 데이터를 무작위로 트레이닝 세트와 테스트 세트로 나누고 있는 것이 확인되었다고 보고했습니다. 일반적으로 기계학습에서는 두 세트에서 데이터가 중복되어 모델의 과다 학습이 발생하고 지나치게 좋은 결과가 발생합니다 따라서 시계열 데이터의 무작위 배분은 피해야 한다고 생각됩니다. 또 월시 씨가 조사한 논문에서는 시계열 데이터의 배분에 관해서는 논문 내에 기재가 없었다고 합니다.

월시 씨는 “이런 랜덤한 배분을 했음에도 불구하고 그 방법이 기재되어 있지 않은 논문은 여럿”이라며 “이번과 같은 방법의 기재 누설이 의도적인 것인지 의문이 생긴다”고 지적했습니다.

월시 씨는 논문 내 데이터의 누설에 대해 "슬프게도 학자의 성공 척도는 저명한 저널에 게재된 논문의 양을 기반으로 합니다. 수를 늘리기 위해 엉성한 실험방법이나 부정행위, 방법의 허위 표시를 조장할 가능성이 있습니다. 이번과 같이 기계학습적으로 결함이 있는 접근을 채용한 논문의 수가 최근 증가했는데, 단순한 연구방법의 기재 누설이 아니라 선행연구의 질을 넘기 위한 의도적인 전략일 가능성이 있습니다”라고 추측했습니다.

이러한 논문을 검증하기 위해서는 해당 연구에 사용된 코드를 조사하여 랜덤한 배분이 이루어졌는지 확인해야 합니다. 그러나 연구팀이 실험 소스코드를 공개하는 것은 매우 드물어 검증하기가 어렵습니다.

게다가 월시 씨는 특정 연구분야에서 부정행위가 확산되고 있다며, 실제로 어느 논문에서 사용된 코드를 입수해 검증을 실시한 월시 씨는 시계열 데이터가 랜덤으로 나누어져 있는 것을 확인했고 학술연구단체 IEEE에 반증을 제출했으나 즉시 각하되었다고 합니다.