UXR 퀵상담소 | 알고 싶은 것을 잘 질문하는 법

UXR 퀵상담소 | 알고 싶은 것을 잘 질문하는 법

UX 리서치는 사용자 경험과 관련해서 궁금한 것을 알아내는 데 목적이 있습니다. 이러한 목표를 잘 달성하기 위해서는 좋은 질문을 할 수 있어야 합니다. 알고 싶은 게 명확히 있더라도 좋은 질문을 하지 못한다면 구체적인 답변을 얻지 못하거나 엉뚱한 주제의 답변을 듣게 될 수도 있기 때문입니다.

이번 〈UXR 퀵상담소〉는 ‘알고 싶은 것을 잘 질문하는 법’을 주제로 진행했습니다. 오픈서베이 UXR 전문가는 정량조사를 진행할 때 좋은 답변을 얻기 위한 방법이나 정성조사를 진행할 때 인터뷰 가이드라인을 작성하는 방법 등에 대해 어떻게 이야기하는지 들어보세요.

• 설문지를 만들 때 조사 주체의 주관이 들어가지 않도록 하는 방법이 있을까?
• 설문 작성 후 빠트린 내용이 없는지 꼼꼼하게 검토하는 팁은 없을까?
• 정성조사를 처음 진행할 때 인터뷰 가이드라인은 어떻게 구성해야 할까?
• 인터뷰 등 정성조사 결과를 정량적으로 분석해도 괜찮을까?

Intro

서혜은: 안녕하세요. UX 리서치 퀵상담소 네 번째 세션을 시작하겠습니다. 오늘 주제는 알고 싶은 것을 잘 질문하는 법이에요.

저희가 지난 시간까지는 비즈니스 상황이랑 목표에 따라 어떤 방법론을 사용할지, 누구에게 물어볼지 등 리서치 설계에 관한 얘기들을 많이 했는데요. 오늘부터는 실제 리서치 진행이랑 결과 도출에 대한 주제를 다루려고 해요. 저희도 그동안 경험했던 것들이랑 팁을 최대한 많이 알려드리도록 하겠습니다.

김희연: 보통 잘 질문하는 법은 내가 뭘 알고 싶은지를 정확하게 알면 사실 잘 되거든요. 그래서 이번 세션에서 사실 가장 중요한 하나를 꼽는다면 내가 정말 뭘 알고 싶은지를 먼저 잘 알아야 된다. 이거일 것 같습니다.

Part 1. 정량조사·정성조사 공통

Q1. 리서치 주체의 객관성 유지 관련

조사 주체의 주관이 들어가지 않게 설문 문항을 구성하려면 어떤 점을 유의해야 할까요?
– A 금융사 UX 디자이너

김희연: 고민하는 부분이 어떤 포인트인지에 따라서 다를 것 같아요.

예를 들어서 “기업 실무자가 설문을 만들면 특정 회사 재직자의 주관적인 시선이 개입되는 게 아닐까?”라는 고민을 하는 경우도 있는데요. 제 생각에는 이건 크게 고민할 내용은 아닐 것 같아요. 왜냐하면 사실 리서치라는 게 ‘내가 궁금한 것’을 알고자 하기 위해서 하는 거잖아요. 그래서 설계를 할 때 나의 주관을 모두 제거하고 객관성을 유지하다는 것 자체가 리서치 목적과 잘 맞지 않다고도 볼 수 있어요.

그런데 예를 들어 “나는 A가 좋으니까 A에 대한 답을 끌어내야 돼”라는 생각은 당연히 경계해야 해요. 실제로 기업에서 컨셉 평가를 할 때도 원하는 컨셉의 점수가 더 높게 나오게 만들기 위해서 문항 순서를 바꾸거나 비교군을 일부러 별로인 컨셉으로 두려하는 경우도 있어요. 그런데 리서치는 리서치는 원하는 답, 이미 정해진 답을 얻어내는 수단이 아니라 모르는 것을 알기 위한 방법이거든요. 본연의 목적에 맞게 활용하기 위해 이런 점은 주의해야 할 것 같습니다.

이와는 별개로 질문지를 구상할 때 적절한 단어를 선택하는 방법에 대해서도 말씀을 드리고 싶어요. 설문지를 구상하는 사람은 일반 소비자보다 해당 영역에 대한 정보나 지식이 많은 편이다보니, 무의식적으로 선택한 단어를 응답자가 잘 이해하지 못하는 경우도 있거든요. 예를 들어 ‘구매 채널’이라는 단어도 소비자는 뭘 말하는지 잘 모를 수 있어요. 그런 업계 전문 용어는 가급적이면 지양을 해주는 방향을 추천해드리고 있습니다.

Q2. 답변을 유도하지 않는 질문지 작성 방법이 궁금해요.

질문지를 작성할 때 특정 답변을 유도하지 않도록 구상하는 구체적인 방법이 궁금해요. 사내 결정권자들은 그래서 우리 서비스가 사용하기 쉬운지 어려운지를 직접적으로 물어보길 원하는데, 그래도 괜찮을까요?
– B IT 서비스 UX 리서처

서혜은: 질문지를 작성할 때 어떻게 하면 답변 유도가 되지 않을 수 있을까요? 질문 주신 분의 사내 결정권자 의견처럼, 그래서 서비스를 사용하기 쉬운지 어려운지를 직접 물어봐도 괜찮을까요?

김희연: 네, 그렇게 질문을 할 수 있어요. 사실 사용하기에 쉬운지 어려운지를 검증하고 그 이유를 파악하는 것 자체가 정성조사에서 굉장히 중요해요. 그렇다보니 “쉽나요? 어렵나요?” 식의 질문이 어딘가에서는 반드시 나오기 마련이에요.

그래서 더 중요한 건 그 질문 전에 사람들이 서비스에 대해서 어떻게 생각하는지를 반드시 먼저 들어봐야 한다는 겁니다. 우리 쇼핑몰의 장바구니 기능에 대한 사용자 경험을 조사한다고 해볼게요. 그럼 사용자에게 장바구니 기능 사용이 쉬운지 어려운지를 물어보기 전에 장바구니 기능에 대해서 어떻게 생각하는지 좀 더 넓게 질문을 해야 해요.

그럼 우리 장바구니 기능 사용이 쉽거나 혹은 어려운 이유를 좀 더 구체적으로 파악할 수 있어요. 혹은 쉽더라도 아쉬운 점이나 어렵더라도 만족스러운 요소에 대해서도 알 수 있죠. 예를 들어 ‘보통 온라인 쇼핑몰은 장바구니 위치가 다 우측 상단에 있는데 여기는 좌측 상단에 있어서 불편하다’ 혹은 ‘익숙한 방식은 아니지만 이 위치에 있는 게 더 좋은 것 같다’ 등의 의견을 받을 수 있어요.

김은혜: 정리하자면, “쉽냐 어렵냐” 자체를 물어보는 건 괜찮지만 앞단에서 밟아야하는 단계별 질문을 다 한 뒤에 마지막에 물어봐야 한다는 거죠?

김희연: 네, 맞습니다. 정성조사는 진짜 답을 얻기 위해서 하는 조사가 아니라 이해하기 위한 조사라고 생각을 하시면 되게 쉬워요.

서혜은: 그런데 진짜 어려운 게, 보통 의사결정을 하거나 이 데이터를 필요로 하는 사람들은 결국 “그래서 이게 돼 말아”라는 답을 원하잖아요. 그래서 리서처 분들이 어려움이 많으실 것 같네요.

Part 2. 정량조사 관련

Q3. 정성-정량 멀티 조사를 할 때 조사 구조를 어떻게 다르게 하면 좋을까요?

저희가 정량조사를 주로 이용하는 목적은 크게 2가지입니다. 첫번째는 정성조사 전에 사용자 행동 데이터를 수집하기 위해서, 두번째는 정성조사 결과를 정량적으로 검증하기 위해서요. 각 유형에 따라서 조사 구조도 다르게 가져가야 할까요?
– C IT 서비스 UX 리서처

서혜은: 사용자 행동 데이터 파악을 위한 설문과, 정성조사 결과를 정량적으로 검증하기 위한 설문 구조의 차이점이 있을지”를 질문해 주셨어요.

김희연: 기본적으로는 큰 차이가 없습니다. 예를 들어서 U&A(usage and attitude)를 물어볼 때도 제품이나 카테고리에 따라 다른 점은 있겠지만 기본적으로 큰 틀에서는 비슷해요. 정보 탐색, 구매, 재구매 등에 대해 물어보는 방식은 크게 달라지지 않아서요. 물론, 목적에 따라 조사 구조가 조금씩 달라질 수 있어요. 질문처럼 정량조사와 정성조사를 결합한 멀티 조사에서는 활용 목적을 기준으로 달라질 수 있다고 생각하면 좋습니다.

첫번째로 질문에서는 정성조사 전 행동 데이터 확보 차원으로 정량조사를 활용하신다고 하셨는데, 사실 정량조사를 진행할만큼 사용자 이해가 부족할 때 정성조사를 활용하는 경우도 많아요. 소비자가 우리 서비스를 왜 사용하는지에 대한 KBF(Key Buying Factor)를 잘 모를 때는 설문지 보기를 만들 수가 없거든요. 이렇게 사용자에 대한 이해가 부족할 때는 정량조사보다 정성조사를 먼저 진행해볼 수 있어요. 보기를 만들어놓고 선택하도록 할 수 있는 상황이 아니니까 그냥 왜 쓰시는지를 직접 물어보는 거죠.

물론 이런 케이스는 진짜 서비스가 경쟁사도 많지 않고 일반적이지 않은 경우에 주로 해당돼요. 예를 들어 초기 NFT 시장이 대표적이에요. 이때는 사람들이 가상 자산을 왜 사용하는지 누구도 잘 몰랐잖아요. 그렇다보니 가상자산 거래소 서비스를 이용하는 패턴이나 방식에 대해서도 잘 몰랐죠. 이런 경우에는 정량조사를 하기 전에 정성조사를 먼저 하는 게 좋아요.

두번째로 조사 결과를 정량적으로 검증하기 위해서 멀티 조사를 하는 경우도 있어요. 대표적인 케이스가 컨셉 평가입니다. 컨셉 평가를 진행하는 방식은 여러가지인데요. 가장 표준적인 방식은 정량조사 -> 정성조사 -> 정량조사 순서로 진행하는 거예요. 10개 이상 컨셉 후보를 두고 간단하게 정량조사를 한 뒤, 5개 정도의 후보를 추려서 뭐가 좋고 나쁜지 구체적인 답변을 들어보는 정성조사를 하고, 이후 얻은 데이터를 기반으로 응답자 수를 크게 늘려서 정량조사를 진행하는 거예요. 이렇게 조사 구조는 목적에 따라 달라질 수 있다는 점을 알아두면 좋을 것 같습니다.

Q4. 설문 작성 후 빠뜨린 내용이 없는지 검토하는 팁이 있을까요?

설문지를 작성한 뒤에 검토를 진행할 때 겹치는 내용을 찾는 건 쉽게 할 수 있지만 빠트린 내용이 있는지는 쉽게 검토하기 어려운 것 같아요.
– D 교육서비스 UX 리서처

김희연: 이런 경우는 ‘투노리스트(To-Know List)’를 활용하면 좋습니다. 투노리스트는 설문조사를 통해 꼭 알아야 할 정보를 사전에 정리해보는 문서라고 생각하면 좋아요. 설문을 통해 확인하고 싶은 내용과 그에 대한 가설을 구체화하고 구조화하는 역할을 합니다. 이를 기반으로 설문지를 만들면 가설을 검증하기 위해 빼먹은 문항이 혹시 없는지 역으로 체크할 수 있어요.

예를 들어서 우리가 ‘사람들이 우리 서비스를 SNS를 통해서 먼저 인지한다’라는 가설을 가지고 있다고 해볼게요. 그럼 그 내용을 미리 적어뒀겠죠. 그럼 그걸 기반으로 ‘우리 서비스와 비슷한 서비스에 대한 정보를 어디서 얻나요?’라는 질문지를 구성할 수 있어요. 혹시 놓치고 문항을 만들지 못했다면 나중에 투노리스트를 보면서 검토할 수 있고요. 그래서 저희는 설문조사 경험이 적은 고객일수록 TKL을 꼭 작성해본 뒤 나중에 검토하는 방법을 추천해 드리고 있어요.

💡함께 보면 좋은 콘텐츠
투노리스트(To-Know List)는 설문을 통해 확인하고 싶은 내용과 그에 대한 가설을 구체화하고 구조화한 문서입니다. 이를 토대로 응답 대상자나 조사 방법론 등 프로젝트를 더욱 구체화하고 질문지를 작성할 수 있습니다. 투노리스트 템플릿이 궁금하거나 작성 방법에 대해 더 알고 싶다면 아래 링크를 눌러주세요.
✔️ To Know list 템플릿 및 작성법

김은혜: 저도 작은 팁을 하나 드릴게요. 저는 보기 구성할 때 보기를 굉장히 꼼꼼하게 검토하는 편인 것 같아요. 여러 서비스의 구매 채널을 나열할 경우에는 구글링 등으로 데스크 리서치를 꼭 합니다. 그래야 보기에 브랜드나 서비스를 리스트업할 때 정말 큰 플레이어인데 빼먹는 경우를 예방할 수 있더라고요.

그리고 첫번째 객관성 유지 관련 질문과 연관된 이야기인데요. 보기 순서도 무작위 정렬로 꼭 체크해주는 편입니다. 예를 들어 보기 중에 우리 서비스가 포함되어 있다면 자연스럽게 1번 보기로 넣을 수 있는데, 사람들은 객관식 문항에 응답할 때 무의식적으로 1번 보기를 더 많이 찍는 편이거든요. 그래서 설문지를 검토할 때 이런 설정이 잘 되어 있는지를 같이 꼭 살펴봅니다.

서혜은: 저는 사용자랑 동일한 화면에서 꼭 한 번 체크를 해요. 그리고 팀에 공유해서 크로스 체크를 요청드립니다. 그러다보면 혼자서는 발견하지 못한 어색한 부분 등을 찾을 수 있더라고요.

Part 3. 정성조사 관련

Q5. 정성조사 첫 세션 가이드라인 준비 방법이 궁금해요

탐색적 목적의 정성조사를 진행할 때 첫 세션 가이드라인 준비하는 방법이 궁금해요. UX 리서치를 준비하면서 가장 감을 잡기 어려운 부분인 것 같아요.
– E 교육 서비스 UX 리서처

김희연: 제가 가이드라인을 최초로 써봤을 때를 생각을 해보면, 저는 질문을 써놓고 이걸 내가 응답할 수 있냐를 항상 체크했던 것 같아요. 질문을 할 때 이게 사람들이 정말 응답할 수 있는 내용인지를 체크를 하시면서 가이드라인을 작성을 하는 게 중요합니다.

또한, 정성조사 가이드라인은 제가 굉장히 극단적으로 얘기를 하면 세션마다 변경이 될 수 있어요. 특히 조사 주제가 어렵거나 난이도가 있는 경우는 첫 세션을 파일럿으로 생각하고 운영하기도 해요. 그렇다보니 첫 세션 가이드라인은 일부러 매우 세세하게 확인하려는 내용을 다 넣는 경우도 있어요. 그 가이드라인으로 진행을 하고나면 “이 내용은 빼도 되겠다”, “이 질문은 순서를 바꾸는 게 좋겠다” 등의 감이 잡힐 거예요. 그럼 두번째부터 가이드라인을 수정해서 진행하는 거죠.

한가지 더 추가로 말씀드리고 싶은 점은 정성조사 경험이 많지 않을 때는 가이드라인의 질문 내용이 큰 단위로 뭉쳐져 있는 경우가 많아요. 그래서 이걸 좀 더 작은 단위로 쪼개는 연습을 해보시면 좋을 것 같습니다.

Q6. 인터뷰를 할 때 정량적으로 결과를 확인할 수 있는 질문이 필요할까요?

인터뷰는 세션마다 질문이 달라지기 마련인 것 같아요. 그런데 회사 내부에서는 인터뷰 결과를 정량적으로 파악하고 싶어 하시더라고요. “그 질문에 그런 대답을 하신 분이 몇 명이나 돼?” 이런 식으로요. 인터뷰를 할 때 정량적으로 결과를 확인할 수 있는 질문이나 공통 질문을 꼭 하는 게 좋을까요?
– F 교육 서비스 UX 리서처

서혜은: “인터뷰를 진행할 때 정량적으로 확인할 수 있는 질문이 필요할까요?”라고 하셨어요. 그룹 인터뷰 할 때, 질문을 드리고 손을 들어달라면서 정량적으로 숫자를 세기도 하잖아요. 답변을 주시면 좋을 것 같습니다.

김희연: 물론 정량적으로 결과를 파악하기 위한 질문을 하는 경우가 있습니다. 말씀주신 것처럼 “이 서비스에 만족하는 분을 손을 들어주세요” 같은 방식으로 활용해요. 하지만 인터뷰 진행을 매끄럽게 하기 위한 목적이지 해석 자체를 정량적으로 하는 건 유의해야 해요. 예를 들어 이 내용을 보고서에 넣을 때도 항상 단서를 들어줍니다. 응답자 수가 충분히 많지 않기 때문에 그래요. 예를 들어 정성조사 대상자 6명 중 4명이 ‘만족한다’고 해도 진짜 시장의 의견을 대표하는지는 알 수 없거든요.

정리하자면, 정량적으로 결과를 확인할 수 있는 질문을 하는 건 괜찮습니다. 이런 질문이 인터뷰를 좀 더 매끄럽게 진행할 수 있는 팁이 되는 경우도 있어요. 하지만 주의해야 할 건 조사 결과를 정량적으로 수치화해서 분석할 수는 없다는 겁니다. 데이터 분석에 대한 유의사항만 잘 기억한다면 이런 질문을 하는 건 괜찮습니다.

서혜은: 오늘도 현업에서 하고 계신 소중한 고민 나눠줘서 정말 감사드립니다. 저희가 다음 시간에는 이라는 주제를 얘기를 나눠볼 거예요. 더 궁금하신 점이 있으면 커뮤니티에서 계속 얘기를 이어가면 좋겠습니다.

💡UX 리서치 시작하기
프로덕트와 전문가의 도움을 받아 UX 리서치를 수행하고 싶으신가요? 오픈서베이를 통해 다양한 유형의 UX 리서치를 진행할 수 있습니다. 애자일 리서치·비대면 UT 등 새로운 시대에 알맞은 UX 리서치를 수행해 보고 싶다면, 아래 링크를 눌러 문의를 주시기 바랍니다.
✔️ 오픈서베이 UX 리서치 문의하기

오픈서베이 UX 리서치 가이드북 받아보기

본 아티클은 오픈서베이가 지난 5월 진행한 영상 콘텐츠를 활용해서 제작했습니다. 이외에도 UX 리서치 실무에 참고할 더 많은 자료를 찾고 있다면 <UX 리서치 가이드북>을 살펴보세요. 가이드북은 UX 관리 목표에 맞는 적절한 방법론을 선택하는 방법부터 대상자를 모집하는 법, 인터뷰 진행 및 결과 분석 시 주의사항 등 UX 리서치 단계별 지침을 담고 있습니다. UX 리서치를 더 잘 활용하고 싶은 분이라면 아래 버튼을 눌러 자료를 무료로 받아보시기 바랍니다.