논문의 비리를 폭로하려고 했을 때 일어났던 일

2021년 일리노이 주립대학에 근무하는 조 힐가드 교수가 자신이 했던 원고의 부정에 대한 항의와 그 결과에 대해 보고하고 있습니다.

Crystal Prison Zone : I tried to report scientific misconduct. How did it go?
https://crystalprisonzone.blogspot.com/2021/01/i-tried-to-report-scientific-misconduct.html

I tried to report scientific misconduct. How did it go?

Journal retracts two papers linking exposure to violence to aggressive behavior - Retraction Watch
https://retractionwatch.com/2019/12/06/journal-retracts-two-papers-linking-exposure-to-violence-to-aggressive-behavior/

Journal retracts two papers linking exposure to violence to aggressive behavior

2018년의 초, 힐가드 씨는 중국의 서남대학 교육학부 치엔 찬 씨들에 의해 집필된 논문 '폭력적인 게임이 사춘기의 공격성에 미치는 프라이밍 효과'에 대해 의문을 품고 독자적으로 동료평가를 실시했습니다. 힐가드 씨는 논문에 기재된 분산분석 결과의 수치가 아무런 의미가 없는 것으로 나타나 논문의 대표저자인 치엔 씨에게 보고하였습니다. 치엔 씨로부터 '수정'한다는 응답을 받았고 2018년 5월 논문은 수정되었지만, 힐가드 씨는 논문이 통계상 있을 수 없는 수치데이터로 표현되는 있는 등 기괴한 점이 그 밖에도 몇 가지 있다는 것을 추가로 알게 됩니다.

힐가드 씨는 "치엔 씨의 논문은 아주 복잡한 통계데이터를 보여주고 있다"며, 치엔 씨가 과거에 집필한 논문에서도 유사한 통계데이터가 보인다고 지적합니다. 힐가드 씨는 치엔 씨가 2013년에 발표한 '공격적인 말이나 폭력적인 영화가 주는 프라이밍 효과', '사춘기의 공격적인 태도에 미치는 미디어의 폭력묘사의 영향', 2018년에 발표한 '청년기에 단기간 노출되는 영화의 폭력과 잠재적인 공격성'이라는 3개의 논문에서 표를 뽑아 비교한 결과, 각 논문에서 사용된 샘플데이터의 모집단이 전혀 다름에도 불구하고 산출된 수치는 놀랄 만큼 비슷했다는 것. 힐가드 씨는 똑같은 실험을 두 번 반복해도 이처럼 비슷한 수치가 나올 가능성은 낮다고 생각하여 치엔 씨가 논문의 데이터를 재사용하고 있는 것이 아닐까 의문을 품게 되었다고 합니다.

https://lh3.googleusercontent.com/-9CuLBNAV-UE/YBBZU06-S5I/AAAAAAAADkM/D3Pc3Rw5A5kNqV_gQyCv3uZDb2r_oGv9ACLcBGAsYHQ/image.png

힐가드 씨가 여러 논문을 조사하고 있는 동안에도 치엔 씨의 과거 논문에 대해 계속해서 정오표를 게재했지만, 그 정정은 데이터가 통계적으로 유리하도록 F값에 정수를 가산하는 등 신빙성에 의심이 가는 것도 포함되어 있었다는 것. 중요한 것은 이러한 개정에 따라 치엔 씨의 다른 논문의 통계에도 영향이 나타나는 것입니다만, 힐가드 씨는 "통계의 유의 수준과 F값이 일치하도록 정정만 하면 되는 것일까"라고 말합니다.

https://lh3.googleusercontent.com/-L7NHBI2Rzxw/YBBZlt-3iWI/AAAAAAAADkU/TJ7vEGP0Jxs6P3rEy4CRTj-jAPkukoz4ACLcBGAsYHQ/image.png

치엔 씨는 계속해서 새로운 논문의 작성을 했는데, 방대함에 비해 엉성한 논문의 데이터량이 미치는 영향을 우려했던 힐가드 씨는 치엔 씨에게 원시데이터를 요청합니다. 그러나 치엔 씨는 "연구팀만이 데이터보기가 가능하다"며 이를 거부합니다. 힐가드 씨는 치엔 씨 논문의 공동저자인 몇몇 미국인에게 "논문의 원시데이터를 보았느냐"고 묻자 공동저자조차 "보지 않았다"고 답변했습니다. 힐가드 씨는 치엔 씨에게 데이터를 요청하라고 공동저자들에게 제안했고, 실제로 그들이 요청한 결과 치엔 씨는 거부하였습니다. 힐가드 씨는 "이상하다고 생각하지 않는가?"라고 공동저자들에게 묻자 "중국이니까"라는 답을 들었다고 합니다.

힐가드 씨는 치엔 씨의 연구에 연구부정 혐의가 있다고 판단하여 2019년 5월에 서남대학 학술위원회 위원장 앞으로 보고했습니다. 한 달 후에 힐가드 씨는 치엔 씨로부터 원시데이터가 포함된 메일을 받을 수 있었고 이것의 분석을 실시한 결과, 치엔 씨 등이 발표한 데이터와는 전혀 다른 결과가 산출되었습니다. 왼쪽의 이미지는 힐가드 씨의 결과이며 오른쪽 이미지는 치엔 씨의 결과. 힐가드 씨는 "치엔 씨가 산출한 데이터에는 상관관계가 전혀 없고, 일반적인 정규분포와 대수정규분포에서 볼 수 없는 이상한 상자모양을 하고 있다"고 지적합니다.

힐가드 씨는 이 결과를 바탕으로 다시 서남대학에 보고를 했습니다만, 서남대학에서의 답변은 "치엔 씨는 통계 및 조사방법에 대한 지식이 부족했지만 데이터가 부정한 것이라는 증거는 부족하다"는 것. 연구절차 및 데이터의 불일치는 인정했지만, 연구부정의 증거로 가장 의심스러운 데이터의 재사용과 원시데이터에 통계상 있을 수 없는 수치가 표기되어 있는 것에 대한 의견은 없었다는 것입니다. 힐가드 씨는 위원장에게 추가답변을 요구한 4개월 후 위원장이 상담한 두 명의 전문가로부터 "이것은 학문적 분쟁에 관한 문제이다"라는 답변을 받았습니다. 그 전문가에게 자세한 보고를 요구하자 2021년 1월 현재까지 아직 회신이 없다고 합니다.

연구기관은 아무것도 수정하지 않을 것이라고 판단했던 힐가드 씨는 학술지에 기사의 게재를 취소하도록 조치했습니다. Youth and Society 등 일부 기관은 신속하게 기사를 철회했지만 전혀 움직이지 않는 기관이나 불성실한 수정을 실시한 기관도 있었다는 것. 힐가드 씨는 "편집자와 출판사의 힘의 관계와 편집자의 경험부족으로 인해 취급에 차이가 있는 것"이라고 말합니다.

이 일련의 문제를 언급하는 것은 힐가드 씨뿐만이 아니라, 심리학자 제임스 벤자민 씨와 멜버른대학 시민 반지르 씨도 SNS에서 문제제기를 하고 있습니다.