설문조사 시 더욱 정확한 응답을 받기 위한 주의사항 5가지
“월 평균 소득이 200만원 이상이십니까?”
다짜고짜 이런 질문을 받는다면 어떨까요? 질문자에게 악의가 없더라도 충분히 기분이 상할만 합니다. 성실하게 답변할 마음도 들지 않을 테고요. 똑같은 질문을 하더라도 응답자가 성실하고 정확한 답변을 할 수 있도록 친절하고 치밀하게 문항을 구성해야 합니다. 이를 위해서는 응답자의 심리를 꿰뚫어야 합니다. 이에 오픈서베이는 주의해야 할 응답자의 심리 유형을 5가지로 나눠봤습니다. 이를 토대로 어떻게 질문지를 구성해야 좋을지 함께 소개합니다.
심리 유형 ① 원하는 답변만 맞춰서 해드릴게요
첫번째로 주의해야 할 심리 유형은 질문자가 원하는 답변만 친절하게 쏙쏙 골라서 해주는 경우입니다. 그렇다보니 선택한 답변이 사실이 아닐 때도 있죠. 이는 모든 응답을 완료해야 리워드를 지급하는 경우 더욱 그렇습니다. 의도에 부합하는 응답을 해야 추가 설문을 더 받을 거라는 생각으로 솔직하지 않은 답변을 하는 경우가 있다는 거죠. 이러한 심리 유형을 가진 응답자가 많을 시 정확하지 않은 답변으로 유의미한 설문 결과를 얻지 못할 수 있습니다.
아래 예시를 함께 보겠습니다.
귀가 접힌 ‘스코티쉬 폴드’ 반려묘를 기르는 사람을 찾는 설문입니다. 3번째 질문에서 스코티쉬 폴드를 가진 반려묘를 기른다는 응답자 중 51.9%만이 스코티쉬 폴드 반려묘의 정확한 이미지를 선택했습니다. 물론 오답을 고른 응답자 중 단순 실수를 저지른 분도 있겠지만 설문 흐름을 토대로 스코티쉬 폴드를 가진 반려묘를 기른다고 응답해야 추가 설문을 받을 것이라 생각하신 응답자도 있을 수 있습니다.
이렇게 3번 문항에서 이전에 응답한 내용에 대한 검증 차원의 질문을 하면 스코티시 폴드를 가진 반려묘를 기르는 응답자를 더욱 정확하게 찾을 수 있습니다. 이를 참고해서 조건에 부합하는 응답자를 찾을 때는 응답을 잘 찾았는지 확인할 수 있는 문항을 추가해 부정확한 응답을 최소화하시길 바랍니다.
심리 유형 ② 뭘 왜 선택했는지 까먹었어요
속전속결 빠르게 응답을 하다보면 실수로 다른 항목을 선택하거나 이전에 어떤 문항을 선택했는지 까먹는 경우도 있습니다. 이는 응답자가 늘 꼼꼼하게 문항을 읽고 고심해서 응답할 여유가 있을 때만 설문 응답 참여를 하는 게 아니기 때문에 발생하는 문제이기도 합니다.
더 큰 문제는 응답자에겐 그저 사소한 실수로 생각될 수 있지만, 설문 결과를 보고 해석해야 하는 담당자에게는 적지않은 리스크가 될 수 있습니다. 이전 문항과 연관된 다음 문항에서 부정확한 답변을 받을 가능성이 증가하기 때문입니다. 이러한 오응답은 또한 전체 설문 결과의 신뢰도에도 영향을 끼칩니다.
아래 예시를 보겠습니다.
응답자가 앞 문항에서 최근 3개월 이내 마시는 요구르트를 구매했다고 답한 상황입니다. 이에 다음 문항에서 구매한 마시는 요구르트 브랜드를 물었더니 주관식 기타 응답으로 “구매한 적 없다”라고 응답합니다. 다른 객관식 보기를 실수로 클릭했거나 당시에는 최근 3개월 이내 떠먹는 요구르트를 구매한 적 있는 줄 알았으나 막상 다시 생각해보니 그렇지 않은 경우도 있을 겁니다. 정말 단순 실수 혹은 건망증이라 생각할 수 밖에 없죠.
이에 소요 시간이 지나치게 긴 설문은 지양하는 게 좋습니다. 오픈서베이는 DIY 설문을 진행할 때 최대 50문항을 넘기지 않는 것이 가장 적절하다고 안내드리고 있습니다. 응답자는 작성자만큼 꼼꼼하게 문항을 읽을 여유가 없는 경우가 더 많을 테니까요. 또한 위 예시처럼 객관적 문항 뒤에 주관식으로 한번 더 응답자의 의견을 확인하는 문항을 추가해 부정확한 응답자를 확인할 수 있습니다.
심리 유형 ③ 의견은 없는데 손만 들어봤어요
문항과 관련한 의견이 없음에도 불구하고 응답하는 유형을 말합니다. 어떤 질문이든 일단 ‘YES’라 답하고 시작하는 거죠. 이분들은 관련한 구체적인 의견을 물으면 그때서야 의견이 없다거나 사안에 대해 잘 모른다고 응답합니다.
아래 예시를 보겠습니다.
안티에이징 기능이 포함된 화장품을 사용한다는 분들에게 그게 어떤 제품인지 구체적으로 물어볼 때 사실 없다고 답하고 있습니다. 이럴때는 이럴 때는 문항 내 ‘없음’ 혹은 ‘기타’ 보기가 없는지를 한 번 더 생각해봐야 합니다. 응답자가 해당 질문에 대해 특별한 의견이 없더라도 ‘없음’이나 ‘기타’ 보기가 없으면 할 수 없이 상관 없는 보기를 선택해야 하니까요. 이에 문항을 구성할 때는 ‘없음’ 보기를 꼭 넣어야 하며, 의견이 없을 시 ‘없음’ 보기를 선택해달라는 안내를 상세히 해야 합니다.
심리 유형 ④ 질문이 어려워서 그냥 이해한대로 답했어요
대답하기 어렵거나 혹은 질문 자체가 어려워 제대로 이해하지 못한 경우 응답자는 쉽게 응답할 수 있도록 질문 내용을 수정해서 이해하곤 합니다. 이런 경우 당연히 질문 의도와 다른 답변을 합니다.
아래 예시를 보겠습니다.
TV 홈쇼핑하면 떠오르는 브랜드를 물었는데 관계 없는 식품 브랜드 하림이 있습니다. 의류 브랜드 조인너스(*조인어스의 오타)도 있고, 그냥 화장품이라고 입력하기도 했습니다.
잘 보면 모두 홈쇼핑 브랜드가 아닌 홈쇼핑에서 구매한 상품 카테고리나 브랜드라는 공통점이 있습니다. 이는 질문이 어려워 의도 파악을 못해서 이해한대로 홈쇼핑에서 구매한 상품의 브랜드나 카테고리를 적은 거죠. 홈쇼핑을 이용은 하지만 TV 채널로만 인지할 뿐 브랜드라는 개념이 잡히지 않기 때문일 수도 있습니다.
이에 질문 의도를 착각해서 엉뚱한 답변을 하거나 혹은 질문을 어렵게 구성해 다르게 이해하는 경우를 방지하도록 좀 더 쉽고 직관적으로 문항을 작성해야 합니다. 예를 들어 고연령 응답자를 대상으로 넷플릭스에 대한 인식 조사를 진행한다면 충분한 부연설명이 필요할 겁니다.
심리 유형 ⑤ 무례하게 뭐 그런 걸 물어보시죠?
설문조사가 직접 만나서 나누는 대화가 아니라고 해도 지나치게 개인적인 질문은 주의하는 것이 좋습니다. 민감한 질문에 답변을 거부하거나 왜곡된 답변을 하는 경향이 있기 때문이죠. 이럴 경우 당연히 정확한 조사 결과를 얻기 힘듭니다. 그럼 응답자들은 어떤 질문을 불편하다고 생각할까요?
아래 예시를 보겠습니다.
오픈서베이가 자체적으로 진행한 건강에 대한 설문입니다. 응답자의 개인 정보를 알 수 없는 설문조사임에도 불구하고 몸무게를 물을 때 답변을 거부하는 응답자가 있었습니다. 앞선 문항에서 같은 응답 대상자들에게 신장이 몇인지 물어볼 때는 응답을 거부한 분이 한 명도 없었는데요. 이를 통해 다소 민감한 질문에 응답을 거부하는 경향이 있다는 걸 알 수 있습니다.
그럼 다소 민감할 수 있는 정보를 물어야 하는 설문조사는 진행할 수 없을까요? 예를 들어 응답자의 소득 수준의 경우 민감한 정보지만 조사를 진행하는 기업에게는 중요한 정보라 물어보려는 경우가 많습니다. 이때는 문항에 “실례지만 귀하의 소득은 어떻게 되시나요?”라는 식으로 최대한 정중한 태도로 묻는 게 좋습니다. 본 설문을 진행하기 전에 앞 문항에서 조사 내용에 대해 충분히 설명해주거나 ‘응답하고 싶지 않다’는 문항을 추가해주는 것도 필요합니다.
기준이 다소 어렵다면 한분 한분의 응답자가 단순히 한 개의 표본이 아닌 사람이라는 점을 잊지 않고 질문지를 만드는 것도 좋은 방법입니다. 충분히 설명을 드리고 예의를 갖춰 질문한다면 다짜고짜 연봉을 물을 때보다 성실하게 설문에 참여하실 겁니다.
오픈서베이에서 설문조사 시작하기
지금까지 문항 구성 시 피해야 할 질문 유형에 대해 알아봤습니다. 다음 글에서는 설문 초보자가 알아야 할 문항 작성 가이드를 살펴봅니다.
- 다음 글 읽으러 가기: 설문 초보자가 알아야 할 문항 작성 가이드 5가지 | 설문조사 기초 노하우 ④
설문조사에 대해 더 궁금한 점이 있거나 자신의 목적에 적합한 조사 방법을 알고 싶다면 아래 버튼을 눌러 오픈서베이에 1:1로 문의해보세요.
