응답자가 거짓말을 하진 않을까? 신뢰할 수 있는 조사를 하는 방법
Q: 설문조사 결과를 믿어도 될까요? 사람들이 가짜로 응답할 수도 있잖아요.
A: 그걸 대비하는 여러 방책이 있어서 괜찮습니다!😊설문조사는 사람들의 의견을 바탕으로 해답을 찾는 과정이다 보니, 대답하는 사람들이 누구인지가 매우 중요해요. 그래서 우리는 이전 글에서 기본적인 응답자 설정 방법(링크), 그리고 특정 조건의 응답자 찾는 방법(링크)을 알아봤습니다.
하지만 아직 가장 기초적인 의문을 해소하지 않았습니다. 사람들이 설문조사에서 거짓말을 할 수도 있지 않을까요? 그렇다면 응답자를 잘 설정하더라도, 원하는 응답자를 정확히 찾더라도 솔직한 의견을 받지 못하는 건 아닐까요? 아니, 애초에 사람들은 왜 설문에 참여해주는 걸까요?
이는 실제로 소비자 조사를 처음 시작하는 분들이 많이 하는 질문입니다. 설문조사를 잘 마친 뒤에 응답 결과를 얼마나 신뢰해도 좋을지 우려하시는 건데요. 이번 글에서는 오픈서베이가 신뢰할 수 있는 결과를 얻는 방법을 공유합니다.
설문에 응답하는 사람은 누구인가요?
응답을 믿을 수 있으려면 우선 응답하는 사람을 알아야 하겠죠. 이미 알고 있는 고객에게 설문을 보내는 경우도 있지만, 소비자 조사는 리서치사에 의뢰해 외부에서 응답자를 찾는 경우도 많은데요. 응답자를 모집하는 방법은 리서치사마다 다릅니다.
오픈서베이의 소비자 조사 패널은 모바일 설문 참여 앱 ‘오베이’에 가입한 분들입니다. 약 20만 명의 패널이 다양한 경로로 ‘오베이’ 앱을 발견해 가입하고 조사에 참여하고 있어요. 패널은 가입 시 성별, 연령, 지역, 직업 등 기본 프로필 정보를 등록하는데요. 이 정보는 프로필을 타겟팅해 설문을 보낼 때 활용됩니다. 사전 조사를 거쳐 더 구체적으로 원하는 조건을 찾을 수도 있어요. 응답자 조건 타겟팅에 대해 더 자세히 알고 싶다면 지난 글(링크)을 확인해주세요.
조사 대상으로 선정된 패널은 앱 푸시 알림을 통해 응답을 요청받아요. 이러한 방식으로 약 20만 명의 패널이 일반 설문은 물론, 미션형 설문이나 오프라인 조사 등 다양한 소비자 조사에 참여하고 있습니다.
응답자를 찾았다고 끝이 아닙니다. 정확한 결과를 위해서는 이들이 성실하게 응답하도록 유도해야 해요. 패널이 설문에 참여하고 싶게 만드는 장치가 있으면 좋겠죠. 오픈서베이의 경우, 설문에 참여해준 패널에게 일정 금액의 리워드를 제공합니다.
응답자가 일부러 거짓말을 하면 어쩌죠?
설문조사의 결과는 응답자에게 달려있어요. 그런데 만약 많은 응답자가 의도적으로 거짓말을 하거나, 아무렇게나 대충 대답하면 어떻게 될까요? 결과가 오염되어 활용할 수 없게 될 겁니다. 오픈서베이는 이를 막기 위해 데이터 검증 체계를 갖추고 있죠. 지금부터 구체적으로 살펴보겠습니다..
(1) 가짜 프로필은 알고리즘으로 찾아내요
앞서 오픈서베이는 패널이 사전에 등록해 둔 프로필 정보를 기반으로 응답자를 타겟팅한다고 했는데요. 만약 이 프로필 자체가 가짜라면 어떨까요? 예를 들어 30대 기혼 여성을 대상으로 조사를 하고 싶어 프로필을 타겟팅했는데, 그 사이에 실제로는 미혼인 응답자가 있는 거죠. 그러면 꼭 필요한 데이터를 얻기 어려워질 거예요.
이러한 상황을 대비해, 오픈서베이는 패널의 프로필 정보를 내부 기준에 따라 철저하게 검증하고 있어요. 일정 주기로 프로필 업데이트를 요청하고, 각 정보 간의 연관성 등을 알고리즘으로 분석합니다. 꼼꼼한 검증 결과 부정 프로필로 판별된 패널은 설문 참여를 제한하고 있어요.
(2) 대충 적은 응답이나 거짓말은 걸러내요
응답값 역시 내부 기준에 따라 검증을 거칩니다. 마찬가지로 알고리즘을 활용해, 문항과 응답이 서로 어울리는지, 응답이 서로 모순되지는 않는지, 한 질문 당 응답하는 데 시간은 얼마나 걸렸는지 등을 분석해요.
검증을 통과하지 못한 응답은 무효로 처리합니다. 특히 주관식의 경우 “^^, ;;” 등 단순히 응답란을 채우기만 한 응답은 모두 걸러내요. 더불어, “ㅇㅇ, ㄴㄴ”처럼 특정 문자만 반복 입력하면 설문 단계가 진행되지 않고 답변을 다시 요청합니다.
최종 무효 처리된 응답은 결과에 포함하지 않아요. 유의미한 데이터만 골라내어 전체 조사의 정확도를 높이기 위함입니다. 또, 제외한 응답 수만큼 새로운 패널에게 설문을 보내 목표 응답 수를 채워요.
더불어, 불성실 응답 기록이 많은 패널은 따로 관리하고 있습니다. 성실하게 응답할 수 있도록 앱으로 안내 알림을 보내는 등 다양한 방법을 쓰고 있어요. 일정 기간 지속해서 부정 응답을 하면 설문 참여를 제한하기도 합니다.
(3) 응답자가 실수하지 않게 도와요
응답자가 특별한 의도 없이 단순 실수로 잘못 답할 여지도 있어요. 질문을 잘못 이해하거나, 실수로 다른 선택지를 누를 수도 있죠. 이는 사전에 100% 예방하기는 어렵지만, 설문 설계 단계에서 응답자의 이해를 돕고 결과를 정확하게 파악하기 위한 장치를 심어둘 수는 있습니다.
예를 들어 응답을 재차 확인하는 문항을 추가할 수 있습니다. 오독을 막기 위해 문항에서 내용을 충분히 설명하는 것도 좋은 방법입니다. 전체 설문의 길이를 조정하는 것도 도움이 돼요. 응답자의 피로도가 높아지면 부정확한 응답을 할 가능성이 커지기 때문입니다. 이와 관련한 자세한 내용은 아래 글에서 더 확인해보세요.
부정 응답의 영향을 최소화하는 방법
검증망이 아무리 촘촘하더라도 부정 응답이 남아 있을 가능성이 아예 없지는 않습니다. 그렇다면 이제 할 일은 이 부정 응답이 전체 결과 결과를 흔들지 못하게 하는 거예요. 혹시 부정 응답이 섞여 있더라도 전체 데이터의 정확성이 무너지지는 않도록요.
가장 좋은 방법은 충분히 많은 응답자를 모으는 겁니다. 지난번 소개했던 표본 오차 개념과 맞닿는 부분이에요. 표본 오차는 설문 결과와 실제 현실 사이에 생길 수 있는 차이입니다. 표본 오차가 클수록, 설문 결과가 실제와 다를 가능성이 커진다는 뜻이죠. 응답자 규모가 너무 작으면 표본 오차가 너무 커져서 한두 명의 응답만으로도 수치가 크게 달라질 수 있어요. 적절한 응답자 수를 설정하는 법은 지난 글(링크)에서 자세히 확인해보세요.
설문조사 기초 자료 더 받아보기
지금까지 소비자 조사의 신뢰도를 지키는 법에 대해 알아보았습니다. 이외에도 오픈서베이는 설문조사 제작 및 결과 데이터 분석 등 업무에 활용할 수 있는 다양한 콘텐츠를 제공합니다. 오픈서베이가 제공하는 설문조사 기초 콘텐츠를 받아보고 싶다면 아래 버튼을 눌러 받아보기를 신청해 주세요.
또한, 소비자 조사에 대해 더 궁금한 점이 있거나 자신의 목적에 적합한 조사 방법을 알고 싶다면 아래 링크를 눌러 오픈서베이에 1:1로 문의해보세요.
오픈서베이 콘텐츠 마케팅 매니저
최윤정 Iris
오픈서베이 리드 너처링 팀 리드
