성공적인 UX 리서치의 필수 조건, 리서치 오퍼레이션의 모든 것
UX 리서치를 처음 시작하는 조직에서 가장 막막해하는 단계 중 하나는 바로 오퍼레이션입니다. 좋은 의견을 듣기 위해서는 좋은 응답자를 모집해야 하고, 참여 과정에서 부정적인 브랜드 인식을 얻지 않게 하려면 리서치 전 과정을 꼼꼼히 챙겨야 하기 때문이죠. 그런데 아직 오퍼레이션의 중요성에 대한 조직 내 관리자 레벨의 공감대와 인프라는 매우 부족한 실정입니다.
이에 오픈서베이는 지난 12월 Better research, Better UX 오픈토크를 열어 UX 리서처와 오퍼레이터에게 실무 경험과 팁을 들어봤습니다. 1회차에서 UX 리서처의 업무를 중점적으로 살펴봤다면, 2회차에서는 리서치 오퍼레이터의 이야기에 집중했죠. 좋은 응답자를 모집하는 법부터 리서치 오퍼레이션 업무의 범위까지, 풍부한 경험을 갖춘 세 분의 현업자가 직접 전하는 가장 생생한 UX 리서치 이야기를 확인하세요.
* 오픈서베이 Better research, Better UX 오픈토크 2회차 진행은 서혜은 오픈서베이 마케팅 그룹장이 맡았으며, 김은혜 오픈서베이 Mobile Panel Expert 그룹장, 김은희 라포랩스 UX 리서처, 우승준 화해 UX 리서처가 응답자로 참여했습니다. 이번 아티클은 응답자 토크 내용을 요약해서 작성했습니다.
리서치 오퍼레이션이란?
서혜은 오픈서베이 마케팅 그룹장(이하 서혜은): 오픈서베이 UX 리서치 트렌드 리포트 조사 결과, 절반을 훌쩍 넘는 IT 기업이 UX 리서치 전 과정을 내부에서 소화한다고 해요. 그런 만큼 리서치 오퍼레이션에 대한 고민이 많으실 것 같습니다. 본격적으로 리서치 오퍼레이션 경험이나 팁을 나눠주시기 전에, 먼저 리서치 오퍼레이션을 어떻게 정의하시는지 말씀해 주세요.
“Right panel, Right time, Right data”
김은혜 Mobile Panel Expert 그룹장(이하 김은혜): 리서치 오퍼레이션은 알맞은 응답자에게서 알맞은 시간에 알맞은 데이터를 수집할 수 있도록 리서치 과정을 설계하는 일을 말해요. 다시 말해 응답자가 답변을 잘 할 수 있는 환경을 가꾸는 일이죠. 그래서 저는 오퍼레이션을 데이터의 공급망(supply chain)이라고 부르기도 합니다.
하나씩 살펴보면, 오퍼레이션 첫 단추는 알맞은 응답자 선별하기입니다. 이건 단순히 스크리닝 설문을 돌리는 데서 그치지 않아요. 응답이 응답자의 실제 경험과 얼마나 일치하는지 검증하는 일까지 포함되죠. 다음으로, 데이터는 적시성이 굉장히 중요해요. 지금 현실에 맞지 않는 낡은 데이터는 쓸모가 없죠. 그래서 응답자의 응답 진행률을 수시로 체크하고, 응답자가 현장에 제때 안전하게 도착할 수 있도록 관리해야 해요.
인터뷰가 끝나도 오퍼레이션은 끝나지 않아요. 저희는 사후 경험 관리라고 표현하는데요. 인터뷰 참여에 대한 보상금을 지급하는 것부터 인터뷰 과정에서 응답자가 느낀 불편점 등 피드백을 수집하는 것까지 챙겨야 해요. 리서치도 기업이 관리해야 하는 고객 접점이기 때문이에요. 리서처가 모든 오퍼레이션을 직접 하는 경우도 있는데, 오픈서베이는 리서치 오퍼레이션을 전문으로 하는 조직이 전 과정을 담당하고 있어요.
“오퍼레이션은 인턴의 일이 아니다”
우승준 화해 UX 리서처(이하 우승준): 오퍼레이션은 단순 현장 통솔 업무라거나 인턴이 하는 일이라는 생각은 잘못된 고정관념이에요. 오퍼레이션은 높은 전문성을 요하는 일인데다, 그 범위도 매우 넓어요. 리서치 프로젝트 운영 외에도 사내에서 리서치 문화를 조성하고 히스토리를 관리하는 것, 새로운 툴 도입을 고민하는 것 역시 오퍼레이션이라는 걸 꼭 기억하시면 좋겠습니다.
리서치 오퍼레이션을 잘해야 하는 이유
서혜은: 오퍼레이션이 굉장히 많은 업무를 포괄하는군요. 그렇다면 그 모든 과정은 왜 중요한가요? 리서치 오퍼레이션이 리서치 결과나 조직, 또는 고객에는 어떤 영향을 미치는지 구체적으로 설명해주세요.
“리서치도 브랜드 경험이니까”
김은희 라포랩스 UX 리서처(이하 김은희): 앞서 조금 언급해주셨는데, 응답자에게는 리서치 참여 경험도 브랜드 경험이에요. 응답자가 기존 고객일 때는 물론이고, 우리 제품/서비스를 잘 쓰지 않는 잠재 고객일 때도 마찬가지죠. 리서치로 우리 브랜드를 접한 경험이 좋으면 제품/서비스에 없던 관심이 생길 수도 있지만, 리서치 운영이 삐걱거리면 브랜드에 대한 부정적인 이미지를 얻어갈 수도 있어요.
그래서 리서처는 응답자의 고객으로서의 경험도 고려해야 해요. 앞서 말씀하신 사후 경험 관리가 중요한 이유도 이 때문이었죠. 고객 경험 관점에서는 약속한 보상금이 늦게 지급되는 것도 전혀 사소한 문제가 아니니까요.
“효율적인 리서치를 위해”
우승준: 오퍼레이션이 잘 안되면 비용이 발생해요. 응답자를 모집하고 일정을 조율하고 사례비를 지급하는 등 일련의 과정이 금방 끝날 듯 보여도, 실제론 여러 가지 프로젝트가 동시에 진행되잖아요. 그러다 보니 언뜻 간단해 보이는 일도 소요 시간이 누적되고, 결국 리서치 프로젝트 자체가 길어지죠. 이런 지체 상황은 조직 차원에선 더 큰 비용이 드는 일이고요. 프로젝트의 효율성과 완성도를 위해서는 원활한 오퍼레이션이 꼭 뒷받침되어야 해요.
오퍼레이션 실전 팁 ① 좋은 응답자 모집하는 법
서혜은: 오퍼레이션이 응답자의 경험과 리서치 결과에 중요한 역할을 하는군요. 지금부터는 좀 더 실무에 밀접한 질문을 드려볼게요. 오퍼레이션의 첫 단계인 ‘알맞은 응답자 선별하기’는 어떻게 하면 잘 할 수 있나요?
“정확도를 높이는 스크리닝 조사법”
김은혜: 응답자 리크루팅을 성공적으로 하기 위해서는 우선 원하는 응답자를 찾는 스크리닝 조사에서 아주 높은 수준의 검증 과정을 거쳐야 해요. 저희는 모바일 설문 참여 앱 ‘오베이’를 활용하고 있어서, 이 과정을 ‘모바일 정성조사’라고도 표현합니다.
검증은 이렇게 이뤄져요. 먼저 객관식 설문을 통해 필요한 조건에 맞는 응답자를 추려냅니다. 그런 다음 2차 설문을 보내 주관식으로 한 번 더 상세하게 물어봐요. 1차에서 ‘해본 적 있다’고 체크한 행동을 언제 어떤 상황에서 했는지 서술하도록 해서 진실성과 관여도를 파악하는 거죠. 같은 응답자에게 설문을 다시 보낼 수 있는 리타겟팅 기술이 있어 가능한 방법입니다.
오베이 앱의 사진 응답 수집 기능을 활용해서 증빙을 받기도 해요. 예를 들어, 특정 가전제품을 보유한 응답자를 찾을 때는 갖고 있는 제품 사진을 찍어달라고 하는 거예요. 종종 인터넷에서 제품 사진을 다운받아 거짓으로 올리는 경우도 있어서, 자기 손이 나오게 찍어달라는 식으로 구체적으로 요청하죠. 번거로워 보여도 꼭 필요한 응답자를 찾는 중요한 과정입니다.
“전화나 화상으로 2차 검증 필수”
김은혜: 스크리닝 조사에서 선별된 응답자와 유선이나 화상으로 사전 인터뷰를 해서 응답을 재확인하는 것도 좋은 방법이에요. 이때 주의할 것은, 단순히 설문 응답의 사실 여부를 확인한다기보다는 응답자의 경험을 한 번 더 구체적으로 듣고 싶다는 태도로 접근하는 겁니다.
늘 하는 이야기지만, 정성조사에는 리서처의 정성이 들어가야 해요. 그래서 저희는 응답자 리크루팅 과정에서 아주 예외적인 경우가 아니라면 항상 인터뷰로 2차 검증을 하고 있어요.
또 저희는 별도로 응답자 풀을 관리하기도 해요. 여러 겹의 검증 단계를 거친 후에도 간혹 불성실 응답자를 만나기도 하거든요. 그럴 땐 해당 응답자를 추후 유사한 조사의 리크루팅에서는 제외하는 등의 조처를 해요.
김은희: 저도 공감해요. 이런 2차 검증이 특히 중요한 이유는 경험을 꼼꼼히 확인하지 않으면 조사 목적에 어긋난 응답자를 모집하게 될 수 있기 때문이에요. 심지어 객관적인 데이터에 근거해 선별했다고 해도 말이죠.
예를 들어 회원 탈퇴를 했다가 재가입한 고객이 있다고 해볼까요? 그 고객은 내부 행동 데이터상 신규 고객처럼 보일 테니, 신규 고객 대상 리서치의 응답자가 될 수 있는 거죠. 데이터만으로는 응답자를 다 알 수 없어서 직접 확인해야 해요.
오퍼레이션 실전 팁 ② 응답자가 자꾸 딴소리를 한다면
서혜은: 인터뷰 상황을 잘 리드하는 것도 중요할 것 같아요. 실제로 응답자가 주제와 무관한 이야기를 하거나 혹은 아예 묵묵부답일 때 진행이 어렵다는 고민을 전해주신 분도 계셨는데요. 정해진 시간 내에 필요한 이야기만 끌어내는 여러분의 노하우를 나누어주세요.
“라포가 최우선, 일단 경청하기”
김은희: 인터뷰할 때 리서처가 무슨 일이 있어도 지켜야 하는 게 응답자과의 라포(rapport, 상호신뢰감)예요. 라포가 깨지는 순간 유의미한 이야기는 하나도 들을 수 없게 되죠. 그래서 저는 라포를 위해 응답자가 말을 하다가 삼천포로 빠져도 우선 경청하는 제스처를 취해요. 무작정 끊지 않고 타이밍을 엿보다 원래 주제로 다시 데리고 오려고 해요.
그리고 사실 말을 많이 하려는 응답자는 좋은 의견을 주시는 경우가 많아요. 보상금보다는 정말로 자기 경험을 나누고 싶어서 참여한 경우가 많거든요. 리서처로서는 오히려 감사한 경우일 수 있답니다.
“필요 없는 질문은 없는지 돌아보기”
우승준: 저도 동의해요. 다만 비슷한 어려움이 계속 반복된다면 혹시 리서처가 과하게 많은 질문을 하려고 하진 않았는지 돌아봐도 좋겠어요. 하는 김에 이것저것 다 물어보고 싶어도 리서치 목표와 무관한 질문은 가지치기해야 해요. 한 번의 리서치에서 A부터 Z까지 전부 다 알려고 하면 안 됩니다. 해결하고자 하는 문제를 구체적으로 정의하고, 문제 해결을 위해 꼭 필요한 데이터를 얻는 데만 집중해야 해요.
시간은 한정되어 있는데 묻고 싶은 건 많으면 인터뷰를 성급하게 진행하게 돼요. 그러면 응답자는 마음을 열지 못하고 대답을 주저하거나 꺼릴 수 있어요. 인터뷰 상황 자체가 이미 응답자에게는 긴장도가 높은 경험이거든요. 혹시 인터뷰에서 늘 비슷한 시행착오를 겪으신다면, 응답자와 라포를 형성하는 방법을 다시 고민해보셔도 도움이 될 것 같습니다.
오퍼레이션 실전 팁 ③ 비대면 인터뷰 잘하는 법
서혜은: 최근에는 비대면 인터뷰도 많이 늘고 있다고 들었어요. 대면 인터뷰와는 오퍼레이션 방식도 조금 다를 것 같은데요. 비대면 인터뷰를 어떻게 준비하고 진행하면 좋을까요?
“더 큰 리액션, 더 상세한 사전 설명”
우승준: 비대면으로 진행할 때 상대적으로 응답자의 집중도가 낮아요. 그럴 때 리서처가 할 수 있는 건 우리가 당신의 이야기가 경청하고 있으며, 매우 흥미롭고 중요하게 들린다는 메시지를 끊임없이 전달하는 거라고 생각해요. 그래서 대면일 때 보다 리액션을 크게 하는 편입니다.
또 코로나 이후 비대면 UX 리서치를 많이 하면서 새롭게 발견한 점은, 비대면으로 인터뷰나 UT에 참여하는 것 자체를 낯설고 어색해하는 분들이 생각보다 매우 많다는 거예요. 그래서 저는 사전에 안내하는 과정에 많은 공을 들입니다. 인터뷰 진행 방식이나 질문의 흐름, 사용하게 될 툴 등을 상세하게 말씀드리죠.
“따로 있으니 더 편하게, 비대면만의 강점 살리기”
김은혜: 비대면 인터뷰만의 강점을 잘 활용해보면 좋겠어요. 비대면 인터뷰에서는 참석자가 각자의 공간에서 화면 너머로만 다른 참석자나 리서처를 만나게 되잖아요. 이는 인터뷰 상황의 긴장도를 낮추는 장치가 될 수도 있어요. 리서처가 너무 딱딱하지 않게, 개방적이고 편안한 분위기를 조성한다면 오히려 다소 민감한 주제의 이야기까지도 더 풍부하게 끌어낼 수 있을 거예요.
저는 특히 응답자가 비대면 인터뷰에 재미있게 임할 수 있도록 인터뷰가 응답자의 경험을 가치 있게 여기는 자리임을 꼭 설명하는 편이에요. 또 응답자가 적극적으로 참여할 수 있는 법을 구체적으로 안내하는 것도 풍부한 답변을 얻는 데 도움이 되는 것 같아요. 인터뷰 중 새롭게 생각나는 게 있다면 적을 수 있도록 메모지를 준비해두라거나, 제스처를 동원해 설명해도 좋다는 등으로요.
환경/장비가 부족한 초기, UX 리서치 시작하는 법
서혜은: 리서치 인프라가 모두 갖춰져 있다면 좋겠지만 초기 단계에는 그렇지 않은 조직이 많잖아요. 시작 단계에서 UX 리서치를 잘 할 수 있는 팁이 있을까요?
김은희: 꼭 특수한 환경이 갖춰져야만 성공적인 리서치를 할 수 있는 건 아니에요. 현재 상황에 맞게 적절한 대안을 찾을 수 있다고 생각해요.
예를 들어 미러룸으로 쓸 만한 마땅한 공간이 따로 없다면 비대면 송출 장비를 활용할 수 있죠. 실제로 고프로나 심지어 스마트폰을 이용해 촬영하고, 그 송출 화면을 보는 방식으로 참관하는 경우도 있어요.
오퍼레이터의 존재도 마찬가지예요. 처음부터 조직에 리서처와 오퍼레이터가 따로 있어서 협업할 수 있으면 가장 좋지만, 여건이 되지 않을 수도 있어요. 하지만 점차 조직 내 리서치 문화가 성숙하고 조직의 규모가 커지면 오퍼레이터도 합류할 수 있게 되고 다양한 인프라도 갖출 수 있게 될 거예요. 그러면 리서치가 더욱 발전해나갈 수 있다고 생각합니다.
김은혜: 저도 동의해요. 팀에서 사용하는 비대면 화상 회의 툴이나 메신저 툴, 평범한 회의실로도 UX 리서치를 충분히 진행할 수 있죠. 혼자 응답자를 상대해야 해서 막막하다면 평소 내가 팀원이나 외부 고객사, 협력 업체와 어떻게 커뮤니케이션하는지를 떠올려보면 감을 잡을 수 있을 거예요.
오퍼레이션 역시 다른 모든 일과 마찬가지로 제한된 자원 내에서 최적의 방식을 찾아내야 해요. 이를 위해 절대 잊어서는 안 되는 질문이 하나 있어요. 바로 ‘이 조사를 통해 어떤 의사결정을 하고자 하는가’예요. 어떤 장비, 어떤 툴을 도입할지는 늘 이 관점으로 살펴야 해요. 가장 좋은 인프라는 우리의 리서치 목표 달성, 더 나아가 의사결정을 돕는 인프라임을 잊지 않으시면 좋겠습니다.
2022 UX 리서치 트렌드 더 알아보기
본 아티클은 오픈서베이가 12월 진행한 Better Research, Better UX 오픈토크 중 2회차 “정성조사는 정성으로”를 토대로 제작했습니다. 해당 웨비나는 총 2회 진행되었으며, 1회차 “써먹는 UX 리서치” 내용을 정리한 아티클은 다음 링크에서 확인해보세요.
이외에도 IT 기업 및 유관 업종에 종사하는 실무자가 답한 올해 UX 리서치 트렌드에 대해 더 알아보고 싶은 분은 <UX 리서치 트렌드 리포트 2022>를 받아 보세요. 실제 가장 많이 하는 UX 리서치 방법, 주로 활용하는 툴, UX 리서치에 대한 사내 인식 등 세부 현황을 파악할 수 있습니다.
오픈서베이 콘텐츠 마케팅 매니저
