응답 대상자와 응답자 수 설정하기
“컨셉조사 할 건데 응답자 수는 몇 명으로 해야 돼요?”
오픈서베이에는 위처럼 응답자 설정과 관련한 문의가 많습니다. 사실 응답 대상자와 응답자 수 설정은 설문조사에서 굉장히 중요한 단계입니다. 이번 글에서는 알맞은 응답 대상자와 응답자 수를 설정하는 방법을 알아봅니다.
일반 소비자 500명 중 우리 브랜드의 잠재 고객은 몇 명?
응답 대상자 설정은 설문조사 시 매우 중요한 단계인데, 처음 설문조사를 시작할 때 자주 놓치는 부분이기도 합니다. 그냥 일반 소비자 500명 정도에게 물어보면 된다고 생각하는 경우도 적지 않습니다. 하지만 원하는 설문조사의 주제에 따라서 유효한 응답 대상자는 달라집니다. 예를 들어 골프웨어 브랜드의 신제품 컨셉 조사에 20대 사회 초년생 남성의 의견은 그다지 중요하지 않죠.
다른 모든 조사도 마찬가지입니다. 이에 설문 진행에 앞서 적확한 응답 대상자 설정이 중요합니다. 지난 글에 이어서 열린장판의 이창민 매니저 예시를 들어 설명해보겠습니다. 열린장판은 소도매점이나 건설사 같은 전통적인 유통 채널을 벗어나 온라인 장판 전문 쇼핑몰을 만들고 싶습니다. 관련된 시장 경험이 없어 설문조사를 통해 시장성을 판단할 수 있는 자료를 수집하고 싶은 상황입니다.
이러한 설문조사를 일반 소비자 대상으로 진행한다면 어떨까요? 원하는 조사 결과를 얻기 힘들 겁니다. 생애 주기로 볼 때 장판을 직접 구매해야 하는 시기는 매우 특징적이라 잠재 고객의 범위가 좁기 때문입니다. 일반 소비자 중 장판 구매를 진지하게 고민해본 사람은 많지 않다는 겁니다.
그런 상황에서 일반 소비자 500명에게 장판 구매 의사가 있는지 물어보면 몇 명이나 긍정적인 답변을 할까요? 장판 구매 의사가 없다는 응답자를 대상으로 온라인 장판 전문 쇼핑몰의 시장성을 판단할만한 소비자 데이터를 제대로 얻을 수 있을까요? 조사 자체는 진행할 수 있겠지만 응답자는 관심 없는 주제의 설문에 성실하게 답변하지 않습니다. 성실하게 응답하지 않으면 의미있는 데이터라 보기도 힘들고요.
관련성 높은 응답 대상자를 선정하는 방법
이에 열린장판은 온라인 몰의 잠재 고객에 맞춰 응답 대상자를 좁혀야 합니다. 장판을 직접 구매한 경험이 있거나 구매 결정권을 가진 사람이 대표적입니다. 설문조사란 다른 사람의 의견을 통해 해답을 찾는 과정이라고 볼 수 있기 때문에, 질문에 유의미한 답변을 줄 수 있는 사람일수록 좋습니다.
이에 열린장판은 응답 대상자로 30~40대 전업주부를 설정했습니다.
3040 주부는 직업과 연령대 같은 기본적인 프로필로도 타깃팅할 수 있는 장판에 대한 구매 결정권이 높다고 판단한 겁니다. 물론 직접 장판을 구매해봤다거나 집에 장판을 DIY로 깔아본 사람이 좀 더 적확한 타깃이라 볼 수 있습니다. 그렇지만 이들은 매우 특수한 경험자로 설문 시 충분히 많은 응답자를 모집하기 어려울 수 있습니다. 이에 관련성 높으면서도 충분히 다양한 응답을 받을 수 있는 최적화된 모집 규모로 30~40대 전업 주부를 떠올린 겁니다.
신뢰 수준 & 표본 오차 제대로 알기
선거철이 되면 방송에서 각 후보의 여론조사 결과를 보여줍니다. 이때 그래프에 ‘신뢰 수준’과 ‘표본 오차’가 반드시 포함되죠. 대통령 선거 시즌에 대통령 선거 시즌에 1,000명 대상 A, B 후보에 대한 여론조사 시 ‘표본오차 ±3.1%P(95% 신뢰수준)’라고 표기된 문구를 보신 적 있을 겁니다.
여기서 말하는 95%의 신뢰 수준은 같은 조사를 100번 진행할 때 95번은 같은 조사 결과가 나올 것이라는 의미입니다. 100번 중 95번은 같은 결과가 나올테니 이만큼이나 신뢰할 수 있다는 거죠. 표본오차 ±3.1%P란 투표권을 가진 대한민국 성인남녀 3,800만명 중 1,000명을 추려 조사한 결과이므로 3,800만명 대상의 실제 수치와의 차이가 위아래로 3.1%P 정도는 발생할 수 있다는 의미입니다.
1,000명 대상 표본오차 ±3.1%P(95% 신뢰수준)의 여론조사 결과가 A 후보 40%, B 후보가 30%라고 예를 들어보겠습니다. 이는 같은 조사를 100번 했을 때 95번은 A 후보가 36.9%~43.1%, B후보가 16.9%~23.1%의 지지율을 얻을 것이라는 뜻입니다. 신뢰수준과 오차범위를 고려하더라도 A 후보가 당선될 것임을 알 수 있죠.
문제는 여론조사 결과가 A 후보 40%, B 후보 38%와 같이 득표율이 비슷할 때 때입니다. 신뢰 수준과 오차 범위를 고려할 때 조사 결과만으로 특정 후보의 당락을 예측할 수 없는 거죠. 이런 우려사항 때문에 특히 선거조사는 오차를 최소화 하기 위해 대단위 조사를 진행합니다. 보통 국회의원 선거는 500명 이상, 광역단체장 선거는 800명 이상, 대통령 선거는 1,000명 이상으로 응답자 수를 설정합니다.
소비자 조사는 경향성을 읽는 것도 중요하다
조사해보니 그다지 유의미한 결과가 나온 것 같지 않으면 어떡할까요? 앞서 신뢰 수준과 표본 오차에 대해 알아본 이유는 여기에 있습니다. 소비자 조사도 물론 선거조사처럼 정밀한 결과를 얻는 것이 중요하지만, 경향성을 읽는 것 또한 중요합니다. 시간의 흐름 혹은 연령이나 소득 수준 등 연속 변수의 응답 결과에서 특정한 경향성을 발견할 수 있다면 충분히 유의미한 데이터로 활용할 수 있습니다. 비교하려는 지표 간 큰 차이가 나타나지 않더라도 말이죠.
[Base: 전체 응답자 (최근 1주일 이내 동영상 시청 경험자), N=500, 단일응답, %]
위 예시는 오픈서베이의 ‘2018 온라인 동영상 광고 효과 리포트’ 일부입니다. 모바일 동영상 시청 시 사람들이 데이터를 얼마나 고려하는지를 조사한 결과입니다. 보시다시피 매년 큰 수치 변화는 없었습니다. 2018년에는 올해도 신경을 쓴다는 비중이 작년 대비 4.2%P 정도 줄었습니다.
그런데 지난 3년 간의 응답 결과를 함께 놓고 볼 때는 데이터에 신경을 쓴다고 응답한 비중이 꾸준히 감소하고 있다는 ‘경향성’을 읽을 수 있습니다. 이에 앞으로는 데이터 사용량을 고려해서 모바일 동영상 시청을 하지 않는 사람들은 점차 줄어들 것이라고 예측할 수도 있죠.
이에 오픈서베이 고객 중에서도 일반적인 마켓 조사나 인지도 조사를 할 때 신뢰수준 95% 기준 표본 오차 5% 이내로 맞춰 400~500명 대상 설문을 꾸준히 진행하는 경우도 많습니다. 선거조사만큼 오차 범위가 좁진 않을 수 있지만, 꾸준한 조사를 통해 축적된 데이터는 경향성을 파악하는 훌륭한 도구가 될 수 있기 때문이죠.
경우에 따라 응답자가 더 적어도 괜찮습니다
경우에 따라 100명 혹은 200명 단위의 조사도 유의미한 결과를 얻을 수 있습니다. 탐색적 조사의 경우가 특히 그렇습니다. 탐색적 조사란 비즈니스 아이디어를 점검하거나 가설을 구체화 하는 단계에서 힌트를 얻을 때 주로 진행합니다. 시제품 컨셉 조사에 앞서 후보가 많을 때 다소 적은 응답자를 대상으로 컨셉 후보를 3~4개까지 줄이고자 할 때도 유용합니다. 고객 데이터와 시장 조사가 자료가 많지 않은 스타트업이 비즈니스 모델을 구체화할 때도 활용할 수 있고요.
그보다 훨씬 더 적은 응답자 대상의 소비자 조사도 있습니다. 설정한 응답 대상자가 굉장히 특수한 경우입니다. 극단적인 예시로는 B2B 소비자 조사를 들 수 있습니다. 예를 들어 항암 치료 전문의 대상 소비자 조사라면 적게는 10명 대상 조사도 굉장히 의미있는 결과를 얻을 수 있습니다. 이렇듯 설문조사에서 표본수는 많을수록 좋지만 비용과 시간의 문제를 고려해 조사 유형에 따라 합리적인 수준으로 표본 수를 줄여 조사를 진행하는 것이 효과적입니다.
설문조사 노하우 더 받아보기
지금까지 응답 대상자와 응답자 수 설정하기에 대해 살펴봤습니다. 이외에도 오픈서베이는 설문조사 제작 및 결과 데이터 분석 등 업무에 활용할 수 있는 다양한 콘텐츠를 제공합니다. 오픈서베이가 제공하는 설문조사 기초 콘텐츠를 받아보고 싶다면 아래 버튼을 눌러 받아보기를 신청해 주세요.
오픈서베이 콘텐츠 마케팅 팀 리드
