오차범위? 신뢰수준? 여론조사의 비밀을 풀어보자 > 정치∙사회

‘박-문 후보 오차범위 초접전.’ 요즘 신문이나 방송에서 가장 많이 보게 되는 표현이에요. ‘박’은 박근혜 새누리당 후보, ‘문’은 문재인 민주통합당 후보를 말하죠. 나를 뽑아달라고 말하며 전국을 돌아다니는 가장 바쁜 분들인건 다 아실거예요. 12월 19일이 대통령선거일이니까요. 그렇다면 오차범위는 무엇일까요. 이 뜻을 알려면 여론조사를 알아야 해요. 오늘은 오차범위와 여론조사의 비밀을 알아보려 합니다.

 

# 숫자에 속으면 안돼요

박과 문이 서로 힘이 비슷해 승부가 안 난다는 건 두 분이 실제로 만나 힘겨루기를 한다는 뜻은 아니에요. 여기서 힘이 비슷하다고 하는 말은 지지율이 엇비슷하다는 걸로 보면 됩니다. 지지율이란 투표할 권리가 있는 나이(1993년 12월 19일 이전 출생한 만 19세남녀)에게 여론조사 기관이 전화를 걸어 물어본 결과에요. “누구를 대통령으로 지지하느냐”고 물었더니 100명 중에서 몇 명꼴로 지지하는 숫자가 나온 겁니다. 이 지지율은 수시로 변하죠. 왜냐면 투표권리가 있는 모든 사람에게 전화를 걸어 물어본 결과가 아니니까요. 이렇게 일부만 골라 물어보는 것을 표본조사라고 합니다. 이 때 실제와 차이가 어느 정도가 날것이라고 각오하는 범위를 오차범위라고 합니다.

 

여러분이 신문이나 방송에서 지지율을 볼 때 그 숫자만 보면 안됩니다. 지지율 숫자 다음에 나오는 구절을 꼭 찾아봐야해요. ‘95%신뢰수준에서 오차범위는 ±2.5%다’라는 표현이 있지요. 그러니까 박 또는 문의 지지율이 30%로 나왔다면 지지율의 범위는 30%에서 위로는 2.5%를 더해 32.5%, 아래로는 2.5%를 빼 27.5% 범위 안에 있다는 뜻이에요. ‘±’는 더하기(+)와 빼기(-)를 합한 표시거든요.

 

# 얼마나 믿어야 할까요

그렇다면 95% 신뢰수준이란 말은 또 뭘까요. 전화로 지지도를 묻는 것과 같은 조사를 여러번 반복할 때 실제 지지율이 이 구간, 그러니까 27.5%에서 32.5%까지 범위 안에 있을 경우가 100번 중 95번이라는 의미죠. 100번 중 95번이면 중학교 때 배우는 수학 용어인 확률로 95%라고 하고, 이런 확률은 아주 높다고 말할 수 있어요. 하지만 오차범위를 넘어서는 결과가 발생할 가능성도 100번 중에 5번 미만은 있는거죠.

 

다시 박과 문 후보의 대결로 돌아가서 한 후보의 지지율이 30%, 나머지 한 후보의 지지율이 32%이며 오차범위가 ±2.5%라고 할께요. 그럼 두 후보의 지지율 구간이 서로 겹치죠? 두 후보의 차이가 2%포인트인데 오차범위는 그 보다 크니까요. 이 때 두 후보의 지지율 구간이 서로 겹치기 때문에 실제 지지율엔 차이가 없다고 해석해야 합니다.

처음에 여러분께 제시한 ‘박-문 후보 오차범위 초접전’을 해석해보겠습니다. ‘둘 간의 차이는 거의 없다’고 해석해야 맞겠죠. 이게 아니라 ‘32% 지지율 후보가 30% 지지율 후보를 앞서고 있다’고 해석하면 잘못이라는 얘기에요.

 

 

전날까지 여론조사를 하더라도, 아니 투표 당일 투표소에서 나오는 사람을 붙잡고 조사(출구조사라고 부릅니다)를 하더라도 그 결과가 실제와 똑같지 않게 나옵니다. 전체가 아닌 일부만을 대상으로 조사하는 것이기에 오차는 나올 수 밖에 없는 거예요. 예를 들어 미국에서 있었던 일입니다.

 

1936년 미국 대통령선거에서 『리터러리 다이제스트』란 잡지가 무려 1000만명에게 후보자의 지지를 물어보는 설문지를 보냈고, 이 가운데 230만명이 답변했습니다. 어마어마한 비율의 응답률이죠. 여론조사에서는 공화당의 앨프리드 랜던 후보가 57%, 현직 프랭클린 루스벨트가 43%가 나와 랜든이 이길 것이라고 다들 생각했습니다. 그런데 실제 결과는 오히려 루스벨트가 62% 득표율로 승리했습니다. 이 잡지사가 전화 가입자와 자동차 소유주 명부를 가지고 명부에 적혀 있는 사람들을 대상으로 조사를 했는데 이런 조사 대상자가 결국 오류를 일으킨 거예요. 당시 전화나 자동차를 갖고 있을 정도면 중산층 이상의 잘사는 사람들만 대상으로 조사한 결과가 된거죠. 잘사는 사람들 중엔 공화당 지지자가 많거든요.

 

지난 4월 국회의원을 뽑는 총선에서도 투표를 마치고 나오는 사람들을 대상으로 출구 조사를 했는데도 당선자 예측 오류가 17개 지역구(전체 6.8%)에서 나왔습니다. 실제 투표용지엔 여당 후보를 찍었는데 출구조사에서는 야당후보를 찍었다고 말해 이런 오류가 났다고 합니다. 여론조사에 응하는 사람들이 모든 진실만을 말하는 건 아니에요.

 

여론조사는 모든 사람을 대상으로 하는 조사가 아닙니다. 그래서 일부만 떼내 전화를 걸거나 직접 찾아가 조사를 하죠. 좋은 여론 조사는 응답자 수가 충분히 확보되어야 합니다. 95% 신뢰수준에 오차 범위가 ±2%인 여론조사를 하려면 최소한 응답자 인원이 2000명은 되어야 합니다. 나쁜 조사는 1000명에게 응답을 받은 조사겠죠. 그렇다고 무턱대고 많은 인원을 대상으로 조사를 할 필요는 없습니다.

 

응답자를 고를 때 규칙을 지켜야 좋은 여론조사입니다. 응답자 가운데 남성 비율은 얼마, 여성 비율은 엄마, 청년층 비율은 얼마, 노년층 비율은 얼마 하는 식으로 일정한 비율을 미리 정해 이에 맞춰 조사를 해야 합니다. 특정 나이나 특정 지역 거주민들에게만 조사를 한다면 실제와 맞지 않는 결과가 나올 것이고, 이런 조사는 나쁜 조사라고 하겠습니다.

여론조사기관이 전화를 걸 때 사람을 시켜 전화하게 하거나 미리 녹음된 목소리를 들려주는 자동응답장치(A R S)를 사용합니다. 이 때 두 방법 간엔 응답률에 차이가 나죠. A R S 전화가 걸려오면 그냥 전화를 끊는 사람이 많아 이 때 응답률은 평균 6%(100명 중 6명이 응답) 정도 됩니다. 다만 이 방법은 사람을 시켜 조사하는 것보다 돈이 적게 드는 장점이 있습니다. 전화를 걸더라도 집 전화번호로 할 수도 있고, 휴대전화번호로 걸 수 있습니다. 집 전화 가입자 수가 전체인구에서 36.9%인 반면 휴대전화는 거의 모든 사람이 다 가지고 있어 집 전화만 이용해서는 정확한 여론 조사 결과가 나올 수 없습니다.

 

중앙일보