Seldon님의 블로그에서 이 책 이야기가 몇 번 언급^[1]되었는데, 책 전체에 대한 소개는 없었지만 중간중간 소개해주신 내용만으로도 재미있어 보여서 질렀다. 이 책의 타겟은 비합리적인 추론을 하는 '과학자들'이다. 물론 정치인들이나 언론인들의 이야기도 실려있지만, 주목표는 과학자들의 비합리적인 추론을 지적하는 데 있다. 언뜻 들으면 일전에 소개한 <진실을 배반한 과학자들>과 흡사한 책 같은데, 어떨까?

이 책에서는 실제 과학자들의 논문에 자주 등장하는 여러 오류들을 지적한다. 특히 통계학을 오해해서 만들어지는 오류들을 많이 지적하는데, 상당히 유익하다. 많은 사람들이 데이터를 통계 처리해서 영 가설^[2]이 성립할 확률을 계산한다. 예를 들어 약 A와 약 B의 효능이 다르다는 이야기를 하고 싶으면 '두 약의 효능이 같다'는 명제를 영 가설로 두고 영 가설이 성립할 확률이 매우 작다는 걸 보인다. 이 과정에서 일반적으로 5 %보다 작으면 영 가설을 '기각'하는데, 영 가설의 기각이 반드시 대립가설의 성립을 의미하지는 않는다. 대립가설을 증명하기 위해서는 기계적인 통계 처리 뿐 아니라 여러 가지 많은 부분이 고려되어야 하고, 그 모든 것을 검토해 본 후에야 대립가설을 받아들일 수 있다. 하지만 많은 사람들은 영 가설을 기각한 것이 곧 대립가설의 성립이라는 비논리적인 추론을 거쳐서 결론을 내린다. 이에 대한 많은 설명과 풍부한 예가 소개된다.

그 중 상당히 인상적이었던 이야기는, 어지간한 샘플 수로는 2종 오류^[3]를 크게 줄일 수 없다는 내용이었다. (지금 정확히 기억은 안 나는데, 몇십 개의 샘플을 해도 10 % 아래로 줄일 수 없었던 것 같다.) 생각해보면 확통 시간에 2종 오류에 대해 배우기는 했으나 거의 용어만 짚고 넘어가는 수준으로 배워서 이런 문제점이 있다는 생각을 해보지도 못했다. 이게 왜 중요하냐면, 임상 연구 등과 같이 샘플 수를 크게 늘릴 수 없는 경우 단순히 나온 통계적 결과를 덥석 받아들이면 안 된다는 것을 의미하기 때문이다. 이 책에서 저자들은 그럼에도 불구하고 많은 연구자들이 별 생각 없이 통계 결과를 믿는다는 지적을 한다.

데이터를 일단 얻어놓고 그걸 잘 짜맞추어서 사기 치는 법도 소개한다. (이건 왠지 학부 보고서 쓸 때 유용할 것 같기도... 쿨럭 -_-) 그래프의 y축 스케일을 바꿔서 변화의 크기를 과장하거나 깎아내리는 기초적인 스킬부터, 데이터 세트를 다르게 묶어서 원하는 결과를 얻는 고급 스킬까지 다양한 스킬을 소개한다. 꼭 사기 스킬 뿐 아니라 고의가 아닌 변형, 예를 들어 인용에 재인용에 재재인용을 거치면서 인용문의 원의가 완전 뒤집히는 경우와 같은 경우도 소개되고 있다. 이 부분을 읽어보니 저자들의 의도를 알 것 같다. 지금 저자들은 논문의 필자들보다 독자들에게 '끊임없이 의심하면서' 논문을 읽을 것을 요구하고 있는 것이다. 어쩌면 과학자들에게는 너무도 당연한 요구이지만 실천이 잘 안 되고 있는 듯 하다.

여기서 <진실을 배반한 과학자들>과의 접점을 찾을 수 있다. 우리가 흔히 가지고 있는 과학자의 상과는 달리, 과학자들은 많은 경우 선행 논문을 '비합리적인' 방법으로 받아들인다. 워낙 많은 수의 논문이 발행되는 과학계다보니 각 논문을 꼼꼼하게 따져서 읽을 시간도 없을 뿐더러, 남의 논문 따지느라 시간을 소모하면 이 "publish or perish"의 경쟁 사회에서 살아남기 힘들기 때문이다. 저자들은 이 점을 비판한다. 특정 독자를 꼬집어서 비판한다기보다 이런 문화가 만연해있는 과학계 자체의 자정을 촉구하는 것이다. (생각해보니 이건 원래 저널 편집자나 리뷰어들이 해야하는 일 아닌가? -_-; 나는 이들의 직무유기라는 생각도 든다.)

이와 같이 상당히 유익한 책이지만, 쉽게 읽히는 책은 아니다. 물론 저자들은 통계학의 기반이 약한 사람들을 위해 최대한 노력하고 있지만, 그럼에도 불구하고 책 중간중간 나오는 숫자들과 그래프들은 이쪽에 친숙하지 않은 사람들에게 치명적일지도 모르겠다. 나름 자연과학 교육을 받았다는 -_- 나도 읽으면서 끙끙거렸으니까. 하지만 과학 연구에 참여하거나 참여할 사람이라면 이 책의 내용은 꼭 알아두어야 할 것이다. 왜 이런 중요한 내용을 교육하는 과목은 없지?