"무상 급식 '반드시 투표' 38.3퍼센트…투표율 안갯속"이라는 기사가 떴다. 궁금해서 열어봤더니, "반드시 투표하겠다"고 응답한 사람이 38.3퍼센트이고, "가급적 투표하겠다"는 사람까지 합하면 56.5퍼센트라고 한다. 투표율이 33.3퍼센트 넘느냐 여부가 관심사로 등장한 지금, 여론 조사 결과가 이렇다면 분명히 투표율은 "안갯속"에 있다고 보도할 가치가 있을 법하다. (☞관련 기사 : 무상 급식 '반드시 투표' 38.3퍼센트…투표율 안갯속)
기사를 좀 더 읽어봤다. 어떤 여론 조사를 누가 어떻게 했는지 알고 싶어서이다. 그랬더니, "YTN이 중앙일보, 동아시아연구원과 공동으로 한국리서치에 의뢰해 유선전화 RDD 방식으로 실시했고 응답자는 서울 지역 성인 남녀 700명, 응답률은 12.5퍼센트이며, 표본오차는 95퍼센트 신뢰 수준에서 ±3.7퍼센트 포인트"라고 한다. 응답자 700명에 응답률 12.5퍼센트라는 문구가 상당히 모호하다. 두 가지 경우가 가능할 듯하다.
1. 700명에게 물었더니 12.5퍼센트만이 응답했을까? 이건 아주 이상하다.
1-1. 700×12.5퍼센트=87.5, 따라서 응답자가 87명 아니면 88명이라는 것인데, 이 정도 숫자로는 800만 명 이상의 모집단에 대한 예측력을 결코 가질 수 없다.
1-2. 게다가, 87명이라면 응답률은 12.428…퍼센트고 88명이라면 12.571…퍼센트이므로, 반올림하더라도 12.4퍼센트 아니면 12.6퍼센트가 나와야지, 12.5퍼센트는 계산 착오가 아닌 한, 나올 수 없다.
2. 5600명에게 전화해서 그중 700명이 응답했다는 뜻일까? 그래도 이상하다.
2-1 표본 5600명은 내 상식으로 너무 큰 편이다. 그래서 반대편으로 생각해본다. 즉, 요즘 유선전화 여론 조사 응답률이 너무 낮으니, 예컨대 전화번호부처럼 아주 많은 수의 목록에서 무작위로 응답자 700명이 채워질 때까지 계속 전화를 걸었을지도 모른다. 그렇다면 응답률 12.5퍼센트로 700번째 응답을 얻기 위해서는 최하 5577명 최고 5622명에게 전화를 했다는 말이 된다. 이런 수치는 가능하지만, 요즘 여론 조사가 왜 형편없이 틀리는지를 알려주는 한 가지 지표는 되는 것 같다.
2-2 이번 투표에서 관건은 투표율이다. 투표율 조사를 하면서 여론 조사에 응답한 사람들만을 계산한다는 것은 어불성설이다. 대략 5600명에게 전화를 해서 4900명이 응답을 거부하고 700명이 응답했다는 말인데, 응답한 700명중 56.5퍼센트가 투표 의향층이라고 해서 응답하지 않은 4900명도 같은 비율로 투표 의향을 가진다고 말할 수 있을까? 서울시 주민투표의 투표율을 예측하기 위한 여론 조사에서 이와 같은 결과가 나왔다면, 오히려 응답자 중에서 투표 의사를 밝힌 사람의 비율보다는 응답하지 않은 사람의 비율을 더 중요하게 고려했어야 했다.
응답하지 않은 4900명이 주민 투표에서 어떻게 행동할지를, 이와 같은 여론 조사 결과를 가지고 예측한다면, 적어도 다음과 같은 고려는 거쳐 갔어야 한다. 불응답 비율 87.5퍼센트는 이 경우 중요한 지표다. 즉, 4900명 가운데 87.5퍼센트는 투표장에도 가지 않으리라고 추정하는 것이 옳다. 다음, 응답한 700명 중 투표 의향을 밝힌 56.5퍼센트의 나머지, 즉 43.5퍼센트도 투표하지 않으리라고 보는 것이 옳다.
YTN은 응답만을 토대로 투표 거부층을 39.5퍼센트라고 보도하고 있는데, 이 역시 틀린 것이다. 투표 거부층이란 "투표하지 않겠다", 또는 "아마 투표하지 않을 것 같다"도 응답한 사람만이 아니라 이 문항에 답하지 않은 사람들까지 당연히 포함되어야 하는 것이다.
어쨌든, 700명 중 43.5퍼센트라면 5600명 중에서는 12.5×43.5가 되므로, 반올림해서 5.4퍼센트가 된다. 따라서 4900명 중에서는 87.5퍼센트에 5.4퍼센트를 더한 값, 즉 92.9퍼센트는 이번 투표에 불참할 것으로 이 조사의 결과로부터 예측된다. 그리고 700명 중에서는 43.5퍼센트가 불참할 것으로 예측된다. 마지막으로, 전체를 5600명으로 놓고 계산하면 적어도 (87.5퍼센트×92.9퍼센트)+(12.5퍼센트×43.5퍼센트)=86.7퍼센트가 투표에 불참하고, 투표에 참여할 사람의 비율은 최고 13.3퍼센트로 예측된다고 말하는 것이 이 여론 조사로부터 도출할 수 있는 최선의 정보이다.
투표 의향을 밝힌 사람 중에 실제로는 투표하지 않을 사람도 있고, 투표 거부 의사를 밝혔거나, 조사에 아예 응하지 않았거나, 특정 문항에 답하지 않은 사람들 가운데 실제로는 투표할 사람도 물론 있을 것이다. 그러나 여론 조사에서 이런 변수들을 통제할 길은 없기 때문에, 서로 상쇄된다고 봐야 한다. 단, 투표율이 관건인 사안과 관련해서 투표율을 조사할 때, 응답률은 핵심적으로 중요한 변수로 고려에 포함되어야 논리에 맞는 것이다.
그러므로 서울시 성인남녀를 대상으로 "YTN이 중앙일보, 동아시아연구원과 공동으로 한국리서치에 의뢰해 유선전화 RDD 방식으로 실시했다"고 하는 여론 조사의 결과로부터 논리적으로 최선을 다해 도출할 수 있는 결론은 투표 불참율 최하 86.7퍼센트, 투표 참여율 최고 13.3퍼센트이다.
이게 실수인지 의도적인 왜곡인지는 알 수 없고, 실수이든 왜곡이든 주체가 YTN인지, 중앙일보인지, 동아시아 연구원인지, 한국리서치인지도 알 수 없다. 하지만 이런 조사의 결과를 가지고 "투표율 안갯속"이라는 제목을 뽑은 것은 잘못이 분명하다.
기사를 좀 더 읽어봤다. 어떤 여론 조사를 누가 어떻게 했는지 알고 싶어서이다. 그랬더니, "YTN이 중앙일보, 동아시아연구원과 공동으로 한국리서치에 의뢰해 유선전화 RDD 방식으로 실시했고 응답자는 서울 지역 성인 남녀 700명, 응답률은 12.5퍼센트이며, 표본오차는 95퍼센트 신뢰 수준에서 ±3.7퍼센트 포인트"라고 한다. 응답자 700명에 응답률 12.5퍼센트라는 문구가 상당히 모호하다. 두 가지 경우가 가능할 듯하다.
1. 700명에게 물었더니 12.5퍼센트만이 응답했을까? 이건 아주 이상하다.
1-1. 700×12.5퍼센트=87.5, 따라서 응답자가 87명 아니면 88명이라는 것인데, 이 정도 숫자로는 800만 명 이상의 모집단에 대한 예측력을 결코 가질 수 없다.
1-2. 게다가, 87명이라면 응답률은 12.428…퍼센트고 88명이라면 12.571…퍼센트이므로, 반올림하더라도 12.4퍼센트 아니면 12.6퍼센트가 나와야지, 12.5퍼센트는 계산 착오가 아닌 한, 나올 수 없다.
2. 5600명에게 전화해서 그중 700명이 응답했다는 뜻일까? 그래도 이상하다.
2-1 표본 5600명은 내 상식으로 너무 큰 편이다. 그래서 반대편으로 생각해본다. 즉, 요즘 유선전화 여론 조사 응답률이 너무 낮으니, 예컨대 전화번호부처럼 아주 많은 수의 목록에서 무작위로 응답자 700명이 채워질 때까지 계속 전화를 걸었을지도 모른다. 그렇다면 응답률 12.5퍼센트로 700번째 응답을 얻기 위해서는 최하 5577명 최고 5622명에게 전화를 했다는 말이 된다. 이런 수치는 가능하지만, 요즘 여론 조사가 왜 형편없이 틀리는지를 알려주는 한 가지 지표는 되는 것 같다.
2-2 이번 투표에서 관건은 투표율이다. 투표율 조사를 하면서 여론 조사에 응답한 사람들만을 계산한다는 것은 어불성설이다. 대략 5600명에게 전화를 해서 4900명이 응답을 거부하고 700명이 응답했다는 말인데, 응답한 700명중 56.5퍼센트가 투표 의향층이라고 해서 응답하지 않은 4900명도 같은 비율로 투표 의향을 가진다고 말할 수 있을까? 서울시 주민투표의 투표율을 예측하기 위한 여론 조사에서 이와 같은 결과가 나왔다면, 오히려 응답자 중에서 투표 의사를 밝힌 사람의 비율보다는 응답하지 않은 사람의 비율을 더 중요하게 고려했어야 했다.
응답하지 않은 4900명이 주민 투표에서 어떻게 행동할지를, 이와 같은 여론 조사 결과를 가지고 예측한다면, 적어도 다음과 같은 고려는 거쳐 갔어야 한다. 불응답 비율 87.5퍼센트는 이 경우 중요한 지표다. 즉, 4900명 가운데 87.5퍼센트는 투표장에도 가지 않으리라고 추정하는 것이 옳다. 다음, 응답한 700명 중 투표 의향을 밝힌 56.5퍼센트의 나머지, 즉 43.5퍼센트도 투표하지 않으리라고 보는 것이 옳다.
YTN은 응답만을 토대로 투표 거부층을 39.5퍼센트라고 보도하고 있는데, 이 역시 틀린 것이다. 투표 거부층이란 "투표하지 않겠다", 또는 "아마 투표하지 않을 것 같다"도 응답한 사람만이 아니라 이 문항에 답하지 않은 사람들까지 당연히 포함되어야 하는 것이다.
어쨌든, 700명 중 43.5퍼센트라면 5600명 중에서는 12.5×43.5가 되므로, 반올림해서 5.4퍼센트가 된다. 따라서 4900명 중에서는 87.5퍼센트에 5.4퍼센트를 더한 값, 즉 92.9퍼센트는 이번 투표에 불참할 것으로 이 조사의 결과로부터 예측된다. 그리고 700명 중에서는 43.5퍼센트가 불참할 것으로 예측된다. 마지막으로, 전체를 5600명으로 놓고 계산하면 적어도 (87.5퍼센트×92.9퍼센트)+(12.5퍼센트×43.5퍼센트)=86.7퍼센트가 투표에 불참하고, 투표에 참여할 사람의 비율은 최고 13.3퍼센트로 예측된다고 말하는 것이 이 여론 조사로부터 도출할 수 있는 최선의 정보이다.
투표 의향을 밝힌 사람 중에 실제로는 투표하지 않을 사람도 있고, 투표 거부 의사를 밝혔거나, 조사에 아예 응하지 않았거나, 특정 문항에 답하지 않은 사람들 가운데 실제로는 투표할 사람도 물론 있을 것이다. 그러나 여론 조사에서 이런 변수들을 통제할 길은 없기 때문에, 서로 상쇄된다고 봐야 한다. 단, 투표율이 관건인 사안과 관련해서 투표율을 조사할 때, 응답률은 핵심적으로 중요한 변수로 고려에 포함되어야 논리에 맞는 것이다.
그러므로 서울시 성인남녀를 대상으로 "YTN이 중앙일보, 동아시아연구원과 공동으로 한국리서치에 의뢰해 유선전화 RDD 방식으로 실시했다"고 하는 여론 조사의 결과로부터 논리적으로 최선을 다해 도출할 수 있는 결론은 투표 불참율 최하 86.7퍼센트, 투표 참여율 최고 13.3퍼센트이다.
이게 실수인지 의도적인 왜곡인지는 알 수 없고, 실수이든 왜곡이든 주체가 YTN인지, 중앙일보인지, 동아시아 연구원인지, 한국리서치인지도 알 수 없다. 하지만 이런 조사의 결과를 가지고 "투표율 안갯속"이라는 제목을 뽑은 것은 잘못이 분명하다.
No comments:
Post a Comment