설문조사, 신뢰수준·표본 오차부터 이해하고 시작하기
표본 오차와 신뢰수준, 설문조사 결과를 포함한 기사에서 늘 언급되는 단어입니다. 두 개념이 조사 결과의 신뢰성과 관련된 지표라는 건 쉽게 알 수 있어요. 표본 오차가 작을수록, 신뢰수준이 높을수록 더 믿을 만하겠다고 직관적으로 떠올릴 수 있죠.
그런데 이 정도 이해만으로는 설문조사 결과를 해석하기 어려울 수 있어요. 표본 오차 ±3%p가 구체적으로 어떤 의미이며 어떻게 산정된 수치인지, 신뢰수준이 80%라면 신뢰하기 어렵다고 여겨야 하는지 등이 고민될 수 있죠. 이번에는 표본 오차와 신뢰수준이 무엇인지와 어떻게 해석해야 하는지를 알아보고, 오픈애널리틱스에서 예시 설문으로 데이터 분석도 함께 연습해보겠습니다.
표본 오차 정확히 이해하기
표본 오차란?
먼저 표본 오차는 조사 결과가 실제와 얼마나 다를 수 있는지 보여주는 지표입니다. 거의 모든 설문조사는 모집단 전체를 조사하지 않아요. 예를 들어 전국 2039 남녀의 인식을 알기 위해서 약 1,343만 명 모두를 조사하기에는 시간과 비용이 너무 많이 들 테니까요. 그래서 설문조사는 모집단을 대표할 수 있는 일부 표본을 추출해서 진행해요.
표본 선정 과정에 편향이 없다면 설문조사 결과는 모집단 전체의 의견과 경향성이 같을 거예요. 그러니 투표권을 가진 시민 모두가 참여하는 선거에서 일부를 대상으로 여론조사나 출구 조사를 할 수 있는 거죠. 그런데 전수조사는 아니니 아무래도 결과가 100% 정확할 수는 없어요. 조금은 차이가 날 가능성이 있죠. 이 차이가 얼마나 크거나 작은지를 보여주는 지표가 바로 표본 오차입니다.
표본 오차 읽기는 간단해요. 조사 결과 앞뒤로 표본 오차를 빼고 더해주면 됩니다. 예를 들어 표본 오차 ±3%p(신뢰수준 80%)일 때 우리 브랜드 인지도가 70%이라면, (같은 조사를 100번 했을 때 80번은) 67%~73% 사이의 인지도가 나올 것이라고 기대할 수 있습니다. (신뢰수준은 뒤에서 더 자세하게 알아봅니다.)
표본 오차는 어떻게 줄일 수 있나요?
많은 사람에게 물어볼수록 모집단 전체의 의견에 가까워질 테니, 표본 오차는 응답자 수가 많을수록 작아져요. 하지만 조사에 드는 시간과 비용 부담도 함께 커지는 단점이 있어요. 그렇다고 응답자 수가 너무 적으면 표본 오차가 커지고, 한두 명의 응답만으로도 결과가 크게 달라질 수 있고요.
그래서 표본 오차를 고려해서 응답자는 너무 많지도 적지도 않게 모집하는 게 중요해요. 조사 목적과 시간 및 비용을 함께 고려해 정해야 하죠. 아래는 일반적으로 설문조사에서 응답자 수를 정하는 기준이니 참고해보세요. 단, 이는 절대적인 기준은 아니며, B2B 조사·해외 조사 등 상황에 따라 다를 수 있으니 필요하다면 전문가에게 문의해보는 것도 좋은 방법이에요.
💡응답자는 몇 명이 적당할까요?
통계적으로는 표본 수가 30 이상일 때 일반적으로 유의미하다고 봐요. 하지만 마케팅 조사에는 더욱 안정적인 결과 해석을 위해 분석하고자 하는 최소 단위(Cell) 당 최소 100명 이상을 권장합니다. (표본 100명일 때: 신뢰수준 80%에서 표본오차는 ±6.4%p)
예를 들어, 2030 남녀를 대상으로 조사한 결과를 연령(10세 단위)과 성별을 기준으로 나누어 분석하고 싶다고 해볼게요. 그러면 Cell은 20대 남자/20대 여자/30대 남자/30대 여자로 총 4개가 될 거예요. 이때 전체 응답자는 Cell 당 최소 100명씩, 400명 이상을 모집하기를 권장합니다.
신뢰수준 정확히 이해하기
다음은 신뢰수준입니다. 신뢰수준과 표본 오차는 서로 떼어놓을 수 없어서 앞서 표본 오차를 살펴볼 때도 종종 등장했는데요. 신뢰수준은 표본 오차보다는 조금 더 어렵게 느껴질 수 있지만, 설문 데이터를 볼 때 꼭 알아두면 좋답니다.
신뢰수준이란?
신뢰수준은 조사를 100번 할 때 과연 몇 번이나 같은 결과가 나올지를 표현한 숫자입니다. 예를 들어 신뢰수준 80%는 100번 조사하면 80번은 같은 결과가 나온다는 의미죠.
신뢰수준은 표본 오차에도 영향을 미쳐요. 응답자 수가 같을 때 신뢰수준을 바꾸면 표본 오차도 달라지거든요. 앞선 예시를 다시 볼까요? 신뢰수준 80%, 표본 오차 ±3%p인 조사에서 우리 브랜드의 인지도가 70%이라면, 같은 조사를 100번 했을 때 80번은 우리 브랜드 인지도가 67~73% 사이의 값으로 나온다고 읽을 수 있었죠. 그런데 같은 조사 결과를 신뢰수준 95% 기준으로 보면 어떨까요? 결과를 100번 중 80번만 맞힐 때와 달리 95번이나 맞혀야 하므로 오차 범위가 넓어지겠죠. 그래서 응답자 수가 동일할 때 신뢰수준을 높이면 표본 오차가 커지는 겁니다.
그래서 신뢰수준을 높이면 데이터의 차이가 충분히 커야만 유의미하다고 해석할 수 있어요. 반대로 신뢰수준을 낮추면 비교적 작은 차이도 유의미하다고 해석할 수 있게 됩니다. 쉽게 말해 경쟁 브랜드의 인지도가 우리보다 5%p 높을 때, 이를 큰 차이로 보느냐 혹은 무시해도 좋을 만큼 작은 차이로 보느냐의 차이죠.
신뢰수준이 무조건 높다고 좋은 것도, 낮다고 나쁜 것도 아니에요. 신뢰수준을 높게 보면 데이터의 작은 차이는 놓치게 될 수 있는데, 조사 목적에 따라 작은 차이를 파악하는 게 중요한 경우도 있거든요. 만약 경쟁이 치열한 시장에 속한 우리 브랜드가 경쟁 브랜드와의 인지도 차이 5%p를 대수롭지 않게 여겨 대응이 늦는다면 불리해질 수도 있으니까요.
신뢰수준은 어떻게 정해지나요?
데이터의 해석을 좌우할 정도로 중요한 신뢰수준, 어떻게 결정될까요? 다행히 신뢰수준은 우리가 직접 선택할 수 있어요. 계산에 의해 산출되는 값이 아니라 ‘데이터를 이만큼 엄밀하게 보겠다’는 조사자의 기준이거든요. 설문 조사를 마치고 결과를 확보한 뒤, 결과를 신뢰수준 80%로 볼지 90%로 볼지 골라서 분석하면 된답니다.
💡신뢰수준은 얼마가 적당할까요?
조사의 성격과 목적에 따라 일반적으로 다음과 같은 기준을 따른답니다.
- 보통 사회여론조사는 신뢰수준 95%로 결과를 분석합니다. 모집단 전체의 인식 및 행태를 가능한 한 정확하게 추측하기 위함이에요. 대표적으로 선거 여론조사를 떠올릴 수 있어요.
- 일반적인 마케팅 조사는 그보다는 낮게 80%나 90% 수준을 많이 사용합니다. 작은 차이를 눈여겨보면 경쟁사보다 기회를 빠르게 포착하는 데 도움이 될 수 있거든요. 신뢰수준을 높게 설정하면 그만큼 안정적인 결과를 얻을 수 있다는 장점이 있지만, 바꿔 말하면 이미 누구나 아는 당연한 결과를 얻을 확률도 높아져요. 따라서 일반적으로 마케팅 관점에서는 80% 신뢰수준에서 작은 차이까지 살펴보는 편입니다.
실전 데이터 분석에 적용해보기
신뢰수준과 표본 오차 개념을 알았다면, 이제 이 두 가지를 고려해 데이터를 분석해보세요. 오픈서베이의 데이터 분석 툴 오픈애널리틱스에서는 조사자가 신뢰수준을 자유롭게 선택해서 볼 수 있어요. 지금부터 오픈애널리틱스를 활용해 신뢰수준에 따라 표본 오차와 유의미한 데이터가 어떻게 달라지는지 확인해보겠습니다.
아래는 무선 이어폰 관련 설문조사의 오픈애널리틱스 결과 요약 페이지(링크)예요. 오픈애널리틱스는 일반적인 마케팅 조사에 적합한 80% 신뢰수준으로 기본 설정되어 있고, 분석 필요에 따라 사이드바에서 90%나 95%로 직접 조정할 수 있는데요. 신뢰수준을 80%-> 90%-> 95%로 변경할 때 표본 오차가 커지는 걸 확인할 수 있죠.
신뢰수준과 표본 오차가 데이터 해석에 미치는 영향도 오픈애널리틱스에서 확인해볼게요. 앞서 살펴본 것처럼, 신뢰수준은 어떤 데이터를 유의미하게 해석할 수 있는지를 좌우합니다. 오픈애널리틱스 교차분석 표는 설정한 신뢰수준 하에서 전체 대비 통계적으로 유의미한 결과를 자동으로 하이라이트 하는 기능을 제공해요. 유의미하게 높은 데이터는 붉은색으로, 낮은 데이터는 푸른색으로 표시돼 한눈에 볼 수 있죠.
아래는 무선 이어폰을 사용하는 상황을 성별, 연령별로 나눠보는 교차분석 표예요. 신뢰수준을 80%→90%→95%로 변경할 때마다 붉은색, 푸른색으로 표시된 칸이 달라지는 걸 확인할 수 있어요. 신뢰수준이 낮을수록 색칠된 칸수가 많죠. 신뢰수준이 낮을 때는 비교적 작은 차이도 유의미하다고 해석할 수 있고, 신뢰수준이 높으면 차이가 충분히 커야 유의미하다고 해석할 수 있기 때문이에요.
오픈애널리틱스는 통계 지식이 없어도, 엑셀이나 전문가용 툴을 사용할 줄 몰라도 누구나 쉽게 데이터 분석을 할 수 있는 툴입니다. 통계적으로 유의미한 결과를 자동으로 하이라이트 해주고, 더 나아가 알고리즘으로 데이터의 의미를 자연어로 읽어줘요. 어떤 숫자부터 봐야 하는지, 그 숫자가 과연 의미 있는 숫자인지 고민하는 수고는 덜고, 더 쉽고 빠르게 데이터를 분석해보세요.
데이터 분석 더 연습하기
지금까지 표본 오차와 신뢰수준이 무엇인지, 어떻게 해석해야 하는지 알아보았습니다. 설문조사 결과를 목적에 맞게 분석하는 데에 도움이 되었기를 바랍니다. 표본 오차와 신뢰수준이 실제 데이터 분석 시 어떻게 적용되는지 직접 확인해보고 싶은 분은 아래 버튼을 눌러 오픈애널리틱스에서 예시 설문 결과를 분석해보세요.
혹시 설문조사 또는 오픈애널리틱스에 대해 더 궁금한 점이 있거나 자신의 목적에 적합한 조사 방법을 알고 싶다면 아래 링크를 눌러 오픈서베이에 1:1로 문의해보세요.
오픈서베이 콘텐츠 마케팅 매니저
