UXR 퀵상담소 | 사용성 테스트에 관한 모든 것
사용자 경험을 측정하는 조사 방법론은 여러 가지가 있지만, 사용성 테스트(UT, Usability Testing)는 그중에서도 가장 보편적이고 기본적인 조사라고도 말할 수 있습니다. 실제 사용자를 대상으로 사용 경험을 테스트해서 얼마나 사용하기 쉽거나 어려운지를 직접 측정하는 조사이기 때문입니다.
이번 <UXR 퀵상담소>는 ‘사용성 테스트에 관한 모든 것’을 주제로 진행했습니다. 조사 설계, 운영, 결과 분석까지, 사용성 테스트를 진행할 때 단계별로 실무자들이 자주 묻는 질문에 대한 오픈서베이 UXR 전문가의 답변을 들어보세요.
- 한 번 UT를 진행할 때 적절한 진행 시간이나 Task 테스트 개수는 어떻게 될까?
- UT 결과를 분석할 때 공통되는 지적사항이 없다면 어떻게 해석해야 할까?
- 매번 사용자 1:1 방식으로 진행하기는 부담스러운데, 온라인으로 UT를 진행해도 될까?
- 실제 제품은 없고 와이어프레임만 있는 단계인데, UT를 진행할 수 있을까?
Intro
서혜은: UX 리서치 퀵상담소 다섯 번째 세션을 시작하겠습니다. 오늘은 UT에 관한 모든 것을 주제로 이야기를 나눠볼 텐데요. 산업군이나 비즈니스 성숙도에 따라서 달라질 수 있다는 점을 감안하고 들어주세요. 남겨주신 내용을 모아서 보니까 UT 설계, 운영, 해석 이렇게 나눠서 답변을 드리면 좋겠더라고요.
Part 1. UT 설계하기
Q1. IDI와 UT의 차이가 궁금합니다
IDI와 달리 UT를 위해 준비해야 하는 부분도 알고 싶어요.
– A IT 서비스 UX 리서처
김희연: IDI(In-Depth Interview)와 UT(Usability Testing)를 헷갈리는 분들이 많은 것 같아요. 실제로 사용성 테스트를 하기 전에 사용 행태에 대한 간단한 인터뷰를 포함하고 있기 때문에 더더욱 이 두 가지가 헷갈리시는 것 같아요. 사실 IDI는 그 말 그대로 심층 인터뷰 방식의 조사라면, UT는 사용성 테스트라서 특정 테스트를 정해놓고 진행합니다.
그래서 질문 내용을 담는 가이드라인을 구성하는 방식에서 굉장히 큰 차이가 있습니다.
오픈서베이의 오베이 앱에 대해서 IDI를 진행을 할 때를 예로 들어볼게요. ‘너 오베이를 어떻게 알게 됐어? 그리고 이것을 실제로 쓰게 된 계기는 뭐야? 오베이의 경쟁 서비스는 뭐라고 생각해? 이건 어떤 상황에서 쓰고 이거 말고 다른 서비스를 쓸 생각은 안 해봤어?’ 등의 질문을 할 수 있어요. 소비자의 인식을 이해하기 위한 조사라서 질문도 인식을 묻는 방식으로 구성되는 거죠.
그런데 UT 같은 경우는 앱을 테스트하고자 하는 목적으로 진행하는 조사 방식입니다. UT를 진행할 때 저희는 확인하고자 하는 Task를 정해달라는 얘기를 고객사에게 꼭 드려요. 예를 들어서 홈 화면에 대해 평가한다면, 홈에서 어떤 정보를 찾아가는 방식이나 특정 메뉴를 잘 탐색하는지 등을 Task로 주고 직접 수행해 보게 해요. 이런 면에서 차이가 있죠.
Q2. 적절한 UT 분량은 어느 정도인가요?
한 번 UT를 진행할 때 적절한 Task 개수가 있는지 궁금합니다
– B 금융사 UX 디자이너
김희연: 정답이 없어서 굉장히 어려운데요. 오픈서베이 같은 경우는 UT에 참석하시는 참석자 입장에서 제안드리고 있습니다. 서로 약간 라포(Rapport)를 형성하는 시간까지 포함해서 60분 정도를 표준이라고 생각할 수 있는데, 확인하려는 Task를 전부 다 적어놓고 파일럿 테스트를 해서 얼마나 시간이 걸리는지 파악해 보고 너무 오래 걸린다고 하면 덜 중요한 부분부터 쳐내는 방식으로 진행해요.
물론 우리 서비스의 복잡도에 따라서도 적절한 Task 개수는 달라질 수 있어요. 예를 들어서 보험 가입 서비스는 복잡한 편이라서 Task 난이도가 높다보니, 한 번에 테스트할 수 있는 Task의 개수는 적게 가져가는 게 좋아요. 반면 배달 앱처럼 누구나 사용하는 익숙한 서비스는 상대적으로 Task 난이도가 낮죠. 그럼 테스트 시 상대적으로 많은 Task를 수행할 수 있어요. 그렇다고 전반적인 사용성 점검을 위해 너무 많은 Task를 요구하면 조사 자체의 난이도는 높아질 거고요. 그래서 우리 서비스 성격이나 사용자가 얼마나 익숙하게 생각하는지, 서비스 난이도는 얼마나 높은지 등에 따라 적절한 Task 개수는 달라질 수 있다고 생각하면 좋아요.
김은혜: 내부에 UX 리서치 전담 부서가 있는 경우에는 정기적으로 UT를 진행하는 대신 소요 시간을 30분 미만으로 좀 더 짧게 가져가기도 해요. 예를 들어 몇 가지 중요한 디자인 테스트와 사용성 테스트만 2주에 한 번씩 정기적으로 진행하는 거죠. 이렇게 명확하고 간결한 목표가 있는 팀은 60분 미만으로 진행하는 경우도 많습니다.
서혜은: 사실 그 방식이 저는 되게 좋다고 생각해요. 조사를 통해 사용자와 직접 만나는 게 이벤트가 아니라 습관처럼 계속되는 게 좋다고 생각합니다.
Part 2. UT 운영하기
Q3. 개인정보 이슈 없이 UT를 운영하기 위해 체크해야 할 것들이 궁금합니다
만약 스크린샷이나 찰영한 영상에 개인정보가 포함되어 있는 경우 결과 리포트에서 삭제해야 하나요?
– C 교육기업 UX 리서처
김은혜: 개인정보를 수집하는 모든 조사에 해당하는 내용인 것 같은데요. 오픈서베이는 응답자의 개인정보를 굉장히 중요하게 생각하고 사후 처리까지 조사의 일부라고 생각하면서 프로젝트를 운영하고 있습니다.
첫 번째는 리크루팅 설문에서 참여 시 개인정보를 수집하겠다는 동의를 받는 거예요. 조사를 진행하는 오픈서베이가 참여 과정을 녹화하고 이를 고객사에 보내준다는 걸 꼭 안내해야 하고, 수집하는 정보가 개인정보에 해당된다는 걸 명시해서 동의를 받아요. 고객사에는 패널의 개인정보를 조사 이외 목적으로 사용하지 않겠다는 보안 확약서를 쓰고요. 그리고 조사가 완료된 이후에는 고객사 쪽에 수집한 개인정보에 대한 파기 관련 안내를 드리고 파기에 대한 확인서를 함께 받아요.
사실 참여자에게 하는 안내는 리서치 오퍼레이션에서 굉장히 중요한 부분이에요. 리크루팅 과정에서 개인정보 이용 관련 동의를 철저하게 받는다고 해도, 막상 현장에 오면 카메라가 있고 녹화가 된다는 걸 실감하기 때문에 낯설고 당황스러워서 답변을 잘 못하거나 어색해하기도 해요. 그래서 현장 인터뷰 전에 꼭 개인정보 관련 안내를 충분히 드립니다.
서혜은: 요약해 보면, 프로세스상에서 서류를 잘 챙기는 것과 더불어서 조사 참여자가 현장에서 놀라지 않도록 사전에 구두로 잘 설명해 드리는 과정이 필요하다는 거군요. 그렇다면 조사 진행 이후 보고서를 작성할 때는 개인정보를 어떻게 처리하면 좋을까요?
김희연: 보고서에 참여자 개인의 영상이나 사진이 들어가야 된다면, 아예 사람 얼굴을 다 모자이크한다든가 이외 개인정보가 노출되는 부분은 다 마스킹 처리를 해요. 사실 UT에서는 참석자의 얼굴이 아니라 참석자가 어떤 화면에 어떻게 터치를 하는지 클릭을 하는지가 중요하기 때문이에요. 그래서 가능하다면 얼굴이 나오지 않는 미러링 화면이나 클래스캠 녹화 화면을 보고서에 첨부를 하는 편입니다.
가입 절차나 구매 절차를 테스트할 때는 UT Task 자체에 개인정보를 입력해야 하는 경우도 있어요. 그럼 저희가 고객사에게 응답자가 본인의 개인정보가 아니라 가짜 개인정보를 입력해도 넘어갈 수 있도록 개발해 달라고 요청해요. 금융권에서 이런 경우가 되게 많아요. 만약에 이런 사전 준비가 어려우면 응답자가 개인정보를 활용을 하되 그 씬에 대해서는 저희가 화면녹화를 하지 않는 방법으로 진행을 합니다.
Part 3. UT 결과 해석하기
Q4. UT 결과 해석할 때는 어떤 지표를 중심으로 봐야 하나요?
UT 결과 해석은 어떻게 하나요? 어떤 지표를 중심으로 봐야 하나요? 또 그 결과가 한쪽으로 모이지 않을 때는 어떻게 해석해야 하나요?
– D IT 서비스 UX 리서처
김희연: UT를 정성조사 방식으로 진행했더라도 사용성에 어떤 문제가 있는지, 어떤 것이 진짜 크리티컬한 이슈인지를 도출하는 게 크게 어렵지 않은 경우도 많아요. 왜냐하면 소비자들이 앱을 쓰면서 특정 기능이나 메뉴가 있을 거라고 예상한 위치나 기대하는 위치가 있다 보니까, 보통 공통적인 지적사항이 나오는 편이에요. 그래서 결론을 내는 게 상대적으로 어렵지 않아요.
만약 그런 공통적인 지적사항이 나오지 않는 상황이라면, 오히려 반대로 우리가 서비스를 굉장히 잘 만들었다고도 생각할 수 있을 것 같아요. 예를 들어서 대체적으로 8~9점 정도로 만족하는 서비스에 대해서는 UT 결과가 한 방향으로 나오지 않기도 해요.
그리고 UT 결과를 볼 때 어느 지표를 중심으로 봐야 하는지 질문 주셨어요. 이때는 Task 수행 완료율을 가장 중요한 기준으로 봅니다. 예를 들어서 ‘A라는 정보를 찾아가 주세요’라고 할 때 실제로 소비자들이 그 정보를 찾는 데 얼마나 성공하는지를 보는 거예요. 소요 시간을 주요하게 보려는 경우도 있는데, 저는 이건 보조 지표로 보는 걸 추천해 드려요. 왜냐면 소요 시간은 Task 수행 난이도가 높아서 오래 걸릴 수도 있지만 중간중간 볼거리 즐길 거리가 많아서 그럴 수도 있거든요. 그래서 소요 시간을 가장 중요한 지표로 삼기는 조금 위험해요.
Q5. UT 결과로 사용성 지표를 좀 더 구체적으로 측정하고 싶어요.
과제 성공률, 과제 수행 시간, 주관적인 사용도 평가 등 과제를 통해 측정하고 파악하고자 하는 지표들을 구체적으로 알 수 있으면 좋겠어요.
– E 온라인 패션 서비스 UX 리서처
김희연: 사실 저희는 정성조사 방식으로 UT를 많이 진행해요. 말 그대로 1:1로 진행하는 것이다 보니까 시간이나 비용 측면에서 응답자 수를 많이 가져가야 한다고 말씀드리지는 못해요. 그렇다보니 정량적인 측면에서 ‘참여자 중 몇%가 서비스에 만족/불만족한다’라는 결론을 내기가 조금 어려워요.
이때 활용할 수 있는 방식이 Un-Moderated UT입니다. 화면 녹화 프로그램을 사용해서 진행하는 비대면 UT라고 생각하면 돼요. 이 조사 방식은 1:1 인터뷰와 달리 개선점을 구체적으로 발굴하기는 어렵지만, 특정 Task 성공 및 실패 여부나 소요 시간 등을 정량적인 데이터로 얻을 수 있어요. 직접 화면을 녹화해서 성패 여부를 체크할 수 있거든요. 그래서 참여자를 많이 확보해서 정량적인 분석도 할 수 있습니다.
김은혜: Un-Moderated UT에 대해 조금 더 첨언을 드리자면, 누군가 응답 소요시간이 유난히 길었다거나 Task 실패한 사람의 사용 화면이 보고 싶으면 영상을 하나하나 뜯어볼 수 있어요. 그럼 어디서 무엇 때문에 헤맸는지를 알 수 있어서 정성적으로도 얻을 수 있는 인사이트가 많아요. 비단 정량적인 결과 해석뿐만 아니라 정성적인 측면에서도 활용할 수 있는 게 많다는 장점을 말씀드리고 싶었어요.
Q7. 응답자 모수를 몇 명 정도로 설정해야 하나요?
보안 문제로 사내 직원 대상으로 UT를 진행하면 모수가 작은 경우가 있습니다. 몇 명 정도는 되어야 설득력을 가질 수 있을까요?
– F 금융사 UX 디자이너
김희연: 사실 정답은 없어요. 그런데 최근 트렌드는 있어요. 보통 6~10명 정도 진행하는 편이에요. 물론, Task가 얼마나 복잡한지에 따라 조금씩 달라지기도 하는데요. 이전 세션에서도 말씀드렸던 것처럼, 정성조사 방식은 전체 시장을 대표할 수 있는 응답자 수를 확보하는 것에 초점을 두지 않아요. 모집하는 사람들이 원하는 조건의 사람들인지, 그리고 그들에게 내가 원하는 답을 얼마나 얻을 수 있는지가 더욱 중요합니다.
보통 1:1 UT를 표준 방식이라고 생각하는데, 주어진 시간 내 더 많은 모수를 확보하는 게 중요한 프로젝트라면 FGT 방식으로 진행하기도 해요. FGT는 Focus Group Testing의 약자로 2:1이나 4:1로 한꺼번에 여러 명의 참여자를 모셔놓고 테스트를 진행하는 조사예요. 상대적으로 우리 서비스의 복잡도가 낮은 경우에는 이런 방식도 추천해 드리고 있어요. 게임업계에서 많이 진행하는 편이에요. 반대로 서비스 복잡도가 높을수록 1:1 방식을 추천해 드립니다.
Q8. 온라인으로 UT를 진행할 때 사용자 환경을 구축하는 방법이 궁금합니다
UT 진행 시 사용자가 최대한 실제 앱을 이용하는 환경과 비슷하게 만드는 게 중요하다면, 비대면 환경에서는 그런 환경을 어떻게 구축하는 게 좋을까요?
– 실시간 댓글
김은혜: 지금까지는 보통 UT를 진행할 때 오프라인에서 1:1로 만나서 진행하는 경우가 많았죠. 그래서 비대면 방식으로 진행하는 UT 환경이나 참여 방식에 대해 걱정하는 분들이 많아요. 그런데 특히 모바일 서비스에 대한 UT라면 사용자가 자기 집에서 참여하는 게 훨씬 더 자연스러운 환경이기는 합니다. 아직 앱이 나오지 않은 상황이라고 해도 피그마 등으로 프로토타입을 보여줄 수 있다면 크게 다르지 않아요. 그래서 비대면이니까 뭔가 더 환경을 세팅해야 하는 게 아닐까 싶다면 크게 걱정하지 않아도 된다는 말씀을 드리고 싶어요.
김희연: 그리고 테스트 단계에는 실제 상황을 100% 구현하기가 사실 어려워요. 그래서 자연스러운 환경을 제공하는데 초점을 두기보다는 다소 인위적인 환경이더라도 우리가 얻을 수 있는 답을 얻기 위해 무엇을 해야 하는지를 중심으로 고민하는 게 좋습니다.
Q9. 와이어프레임만 있어도 UT를 할 수 있을까요?
아직 제품이 나오지 않은 단계인데, 와이어프레임만 있어도 UT를 할 수 있을까요?
– 실시간 댓글
김희연: 할 수는 있습니다. 하지만 추천하지는 않아요. 요즘은 정식 런칭까지는 아니더라도 QA 서버에 배포해서 테스트할 수 있는 단계에 테스트를 진행하는 고객사가 많아졌습니다. 아직 제품이 그만큼 준비되지 않은 단계라면 최소한 피그마 등 디자인 툴로 인터랙션이 가능한 프로토타입이 있을 때 진행하는 게 좋아요.
Q10. UT에서 시나리오는 무엇이고 어떻게 설계하나요?
UT 관련 자료를 살펴보면 시나리오의 중요성이 강조되고 있는 것 같아요. 이 시나리오는 무엇인지, 구체적으로 어떻게 설계하는지 궁금합니다.
– 실시간 댓글
김희연: 시나리오를 쉽게 말하면 인터뷰나 테스트를 진행할 때 질문하는 순서나 과정을 미리 정교하게 세팅해 놓은 문서입니다. 한 사람과 60분 동안 대화를 하면서 원하는 방향으로 진행하는 게 사실 쉽지 않거든요. 최근에는 UT 자체가 보편화되고 있다 보니까 이런 시나리오의 필요성이 최근 더욱 강조되고 있는 것 같아요.
시나리오를 구성하는 방법은 다양해요. 예를 들어 커머스 앱이라고 하면 앱을 켜서 홈 화면에 접속한 뒤 검색을 해서 원하는 상품을 찾고 다른 제품과 비교하고 리뷰를 살펴보고 결제를 하는 과정들이 있을 텐데요. 그 사용 흐름에 맞춰서 질문지를 구성하기도 합니다. 결국은 테스트해야 할 구체적인 Task의 모음 혹은 순서라고 생각할 수 있어요. 오픈서베이는 이를 시나리오 대신 ‘프로토콜’이라고도 불러요.
Outro
서혜은: 지금까지 UT에 관해서 이야기를 나눠봤습니다. 마지막으로 UT를 할 때 꼭 기억해야 하는 것들을 한 가지씩 꼽아 주실 수 있으실까요?
김희연: 진짜 우리가 UT가 지금 필요한 상황인지를 먼저 생각해 보셨으면 좋겠습니다.
사용성 테스트는 앞서 제품 개발 과정을 마치면서 최종 점검하는 목적으로 활용하는 게 좋아요. 그런데 UT를 서비스 사용 여정 전반, 서비스에 유입되는 이유, 서비스에 추가적으로 원하는 점을 파악하는 도구로 생각하는 경우도 있어요. 사실 이런 건 앱을 개발하기 전에 미리 확인해야 하는 내용이에요. 테스트할 신제품에 이에 대한 인사이트와 고민 내용이 반영되어 있어야 하는 거죠. 그래서 UT를 활용하고 싶다면 제품 개발 단계상 적절한 때인지 생각해 보시면 좋겠습니다.
김은혜: 저는 운영 측면에서 말씀드리고 싶어요. UT를 할 때 장비나 환경을 갖추는데 지나치게 집착하는 경우도 있어요. 그런데 사실 UT의 본질은 사용성을 관찰하는 데 있습니다. 비싼 카메라로 녹화를 할 수 있는 환경이 아니더라도 그저 사용자가 앱을 사용하는 걸 옆에서 지켜보는 것만으로 큰 도움이 돼요. 녹화가 꼭 필요하다면 휴대폰 카메라로 찍을 수도 있는 거고요. 또한, 최근에는 온라인이나 모바일에서 화면 공유가 되는 화상 플랫폼이 많잖아요. 그래서 꼭 오프라인에서 1:1로 진행하지 않아도 괜찮아요.
서혜은: 두 분이 말씀해 주신 두 가지를 꼭 기억해 주시길 바라면서 오늘 참석해 주신 분들에게 도움이 되는 시간이었으면 좋겠습니다.
💡UX 리서치 시작하기
프로덕트와 전문가의 도움을 받아 UX 리서치를 수행하고 싶으신가요? 오픈서베이를 통해 다양한 유형의 UX 리서치를 진행할 수 있습니다. 애자일 리서치·비대면 UT 등 새로운 시대에 알맞은 UX 리서치를 수행해 보고 싶다면, 아래 링크를 눌러 문의를 주시기 바랍니다.
오픈서베이 UX 리서치 가이드북 받아보기
본 아티클은 오픈서베이가 지난 5월 진행한 영상 콘텐츠를 활용해서 제작했습니다. 이외에도 UX 리서치 실무에 참고할 더 많은 자료를 찾고 있다면 <UX 리서치 가이드북>을 살펴보세요. 가이드북은 UX 관리 목표에 맞는 적절한 방법론을 선택하는 방법부터 대상자를 모집하는 법, 인터뷰 진행 및 결과 분석 시 주의사항 등 UX 리서치 단계별 지침을 담고 있습니다. UX 리서치를 더 잘 활용하고 싶은 분이라면 아래 버튼을 눌러 자료를 무료로 받아보시기 바랍니다.
오픈서베이 콘텐츠 마케팅 팀 리드
전혜원 Doce
오픈서베이 마케팅 매니저
