컨셉 테스트 등 설문 결과 데이터에 AI 기술을 적용할 수 있을까?
최근 ChatGPT 등장으로 AI(Artificial Intelligence)에 대한 관심과 주목도가 어느 때보다 높습니다. AI를 통해 방대한 데이터를 해석하고 예측하는 기술 또한 끊임없이 발전하고 있습니다. 실제 비즈니스 문제를 해결하는데 AI를 활용하는 사례 역시 점차 늘어나고 있죠. 이제는 우리도 AI를 어디에 활용할 수 있는지 충분히 고민해볼 수 있는 시점입니다.
AI는 설문 데이터 분석에도 활용됩니다. 오픈서베이는 자체적으로 쌓고 있는 다양한 유형의 데이터에 AI 분석 모델을 적용하고 있습니다. 예를 들어 컨셉 평가 데이터에 AI 분석 모델을 적용해서 컨셉의 성공 가능성을 예측하고 어떤 속성을 개선하면 더 성공 가능성을 높일 수 있는지 해석하는 데 활용하는 겁니다. 오늘은 오픈서베이가 최근 설문 데이터 분석에 도입한 AI 적용 사례와 앞으로의 발전 가능성에 대해 살펴봅니다.
컨셉 평가 데이터에 AI 기술 적용하기
첫 번째 장에서는 컨셉 평가 데이터에 AI 기술을 적용한 사례를 살펴봅니다. 설문을 통해 다양한 방식으로 신제품 컨셉 평가를 받을 수 있습니다. 대표적인 방법 중 하나가 응답자에게 컨셉 문구를 제시한 뒤 평가 점수를 받는 것입니다. 이 방법으로 조사를 계속해서 진행하면 컨셉 문구별 평가 점수 데이터를 방대하게 확보할 수 있는데, 여기에 AI를 활용한 분석 모델을 적용할 수 있습니다. 미리 쌓아놓은 컨셉 평가 데이터를 AI 기술로 분석하는 겁니다.
그럼 무엇을 얻을 수 있을까요? AI가 수많은 컨셉 평가 데이터를 학습해서 새로운 컨셉 문구의 평가 결과를 예측할 수 있습니다. 예를 들어 아래처럼 “아무리 마셔도 0Kcal 짜릿하게 즐기는 제로 칼로리 사이다”라는 신제품 컨셉 문구가 있고 해봅시다. 컨셉 평가는 응답자를 대상으로 직접 조사를 해야만 알 수 있는데, 과거 컨셉 평가 데이터를 학습한 AI는 이를 토대로 신규 컨셉 문구의 평가 점수를 예측합니다. 신규 컨셉 평가를 꼭 하지 않아도 예측 평가 결과를 확보할 수 있다는 겁니다.
또한, 최근에는 기술의 발달로 AI의 예측 결과를 해석하는 기술도 발전하고 있습니다. 덕분에 컨셉 문구의 어떤 키워드가 긍정적·부정적 평가 요소로 작용했는지, 특정 키워드에 특히 긍정적·부정적 반응이 큰 세그먼트가 어디인지 등을 알 수 있습니다. 그럼 제품 담당자는 이를 근거로 컨셉의 어느 요소를 개선해야 평가 점수를 더 높일 수 있는지를 알 수 있습니다. 해당 컨셉으로 출시할 제품의 타깃 소비군을 누구로 삼아야 할지에 대한 의사결정 또한 내릴 수 있습니다. (AI의 예측 결과를 해석하는 기술을 eXplainable AI라고 부르며, 이에 대해서는 뒤에서 더 자세히 알아봅니다.)
아래는 오픈서베이가 실제로 AI를 활용해서 특정 컨셉의 관심도 예측값을 도출한 뒤 이를 해석한 결과를 정리한 이미지입니다. 이를 통해 관심도 예측값이 3.8점이라는 것과 여기에 긍정적 혹은 부정적 영향을 준 키워드가 무엇인지를 알 수 있습니다. (제로) (무설탕) (없다) 키워드는 예측값에 긍정적으로 기여했으며, (칼로리) 키워드는 부정적으로 기여했죠. 이렇게 최근 AI 기술은 기존 데이터를 학습해서 예측력을 높이는 것을 넘어 예측 결과가 나온 과정을 해석해서 어떤 요소가 예측값에 긍정적/부정적 영향을 줬는지를 해석할 수 있습니다.
신제품 컨셉 평가 어떻게 진행할까?
컨셉 평가 텍스트북 살펴보기 (링크)
AI의 예측 결과를 어떻게 다시 해석하는 걸까?
그런데 AI가 예측한 결과를 어떻게 다시 해석할 수 있는 걸까요? 앞선 예시에서 긍정 키워드로 나타난 (무설탕)을 예로, 특정 키워드가 관심도 예측값에 긍정적으로 기여하는지를 계산하는 방법을 알아보겠습니다.
(무설탕) 키워드가 예측값에 긍정적으로 기여했다는 말은, 이전에 진행한 컨셉 평가에서 (무설탕)이 들어간 컨셉이 그렇지 않은 컨셉보다 구매 의향이나 관심도가 더 높았다는 의미입니다. 그럼 우리는 수많은 컨셉에 있는 키워드 조합을 분석해서 어떤 키워드가 평가 결과에 긍정적으로 작용하는지 부정적으로 작용하는지를 알 수 있습니다.
아래는 그 계산 과정을 간단하게 시각화한 이미지입니다. 과정을 순서대로 살펴보면 어떤 키워드가 긍정적 혹은 부정적 영향을 줬는지 계산하는 원리를 이해할 수 있습니다.
- (무설탕) 키워드가 들어간 조합과 들어가지 않은 조합의 구매 의향 차이를 비교해서, (무설탕) 키워드가 있을 때 구매 의향이 얼마나 높아지는지 계산합니다.
- 계산 범위를 다양한 조합으로 넓힙니다. (무설탕) (칼로리) 혹은 (무설탕) (제로) 조합의 구매 의향과 해당 조합에서 (무설탕)만 빠졌을 때의 구매 의향 차이를 계산합니다.
- 계산 범위를 더 넓힙니다. (무설탕) (칼로리) (제로) 조합의 구매 의향과 여기서 (무설탕)만 빠졌을 때의 구매 의향 차이를 계산합니다.
- 계산 범위를 더욱 넓히며 위 과정을 반복합니다. 그럼 (무설탕)이라는 키워드가 구매 의향을 높이는데 얼마나 큰 임팩트를 가져왔는지 종합적으로 계산할 수 있습니다. 그 값을 가중합(Shapley Value)이라고 부릅니다.
- 위 방식으로 (칼로리) (제로) 등 다른 키워드의 가중합도 계산합니다. 그럼 컨셉 문구에 들어간 모든 키워드의 기중합을 얻을 수 있고, 이를 근거로 특정 컨셉 문구의 관심도 예측값을 계산할 수 있습니다.
💡AI 학습을 위해 얼마나 많은 컨셉 평가 데이터가 필요할까?
오픈서베이는 위 예시 사례를 위해 250여 개의 컨셉 평가 데이터를 활용했으며, 최소 수백 개의 데이터를 확보해야만 AI 분석을 시작할 수 있습니다. 물론 데이터는 많을수록 더 좋습니다. 데이터가 많을수록 AI를 더욱 고도화할 수 있기 때문입니다.
주의해야 할 점은 AI 모델을 학습시키기 위한 컨셉 평가 데이터는 동일한 구성이나 구조로 쌓아야 한다는 겁니다. 그래야 예측 모델에 적용할 수 있는 형태로 가공하기 더욱 수월합니다. 이에 많은 양의 데이터를 확보하는 것만큼이나 동일한 구조나 구성의 데이터를 확보하는 것 또한 중요합니다.
예측력과 해석력, 두 마리 토끼를 잡기 위한 XAI
앞서 컨셉 평가 데이터에 AI를 적용한 사례를 살펴봤습니다. 이를 통해 컨셉 문구 중 어떤 키워드가 긍정·부정 영향을 주는지를 파악해서 결과를 개선하기 위해 무엇을 해야 하는지 알 수 있고(해석력), 수많은 평가 데이터를 학습한 분석 모델을 활용해서 신제품 컨셉의 평가 결과를 예측할 수 있다는 걸 살펴봤습니다(예측력).
그런데 AI에 대한 이야기를 처음 접하는 분이 아니라면, AI가 해석력과 예측력 모두 높여준다는 말이 조금 이상하다고 생각될 수 있습니다. 사실 AI 기술에 있어서 예측력과 해석력은 서로 Trade-off 관계에 있기 때문입니다. 예측 정확도가 높은 AI 모델은 다양한 파라미터를 사용해서 계산해서 예측 정확도는 높지만, 어떤 변수가 얼마만큼의 영향을 미쳤는지 해석하기 어려운 거죠. 그래서 해석력이 높으면 예측력은 떨어지고, 예측력이 높으면 해석력이 떨어집니다.
이에 오픈서베이는 XAI(eXplainable AI)을 활용해서 컨셉 평가 예측 결과에 대한 해석력을 높였습니다. XAI는 머신러닝 알고리즘이 예측한 결과를 사람이 이해할 수 있도록 해설을 제공하는 방법론입니다. 이를 통해 특히 비즈니스 실무 영역에서 AI를 활용할 때, 정확한 예측값을 얻을 수 있고 예측 과정을 해석할 수 있습니다. XAI 안에도 다양한 세부 방법론이 있는데, 오픈서베이는 SHAP(SHapley Addictive exPlanations)을 채택했습니다. 분석 모델에 대한 더욱 자세한 소개는 다음 링크를 통해 확인하실 수 있습니다.
AI, 또 어떤 영역에서 활용할 수 있을까?
앞에서 AI를 활용해서 신제품 컨셉 선호도 예측하고 해석하는 사례를 살펴봤습니다. 오픈서베이는 이외에도 다양한 분야에 AI를 적용해서 데이터를 분석하고 있습니다. 이번 장에서는 현재 오픈서베이가 적용하고 있는 분야를 간단히 살펴보고, 이외 어떤 영역에서 활용할 수 있을지도 함께 알아봅니다.
오픈서베이 데이터에 AI를 적용한 사례
- 카드 결제 기록 데이터: 오픈서베이는 해빗팩토리와 협업해서 사전 동의한 모바일 패널의 카드 결제 내역을 수집해서 소비 트렌드 변화를 분석하고 예측합니다. 현재는 특정 결제처에서 소비 금액이 어떻게 변화할지나 실제 결제 금액이 변화하는데 어떤 요소가 영향을 주는지 분석하고 있습니다.
- 푸드 다이어리 데이터: 오픈서베이는 2016년부터 국내 유일 식생활 데이터베이스 ‘푸드다이어리’를 쌓고 있습니다. 사전 동의한 오픈서베이 패널로부터 먹고 마신 모든 기록을 수집해서 어떤 메뉴를 먹었는지와 언제·어디서·어떻게·왜 먹었는지 취식 상황을 구체적으로 파악할 수 있는 데이터입니다. 현재는 메뉴 취식량 변화를 예측하는 분석 모델을 고도화하고 있습니다. 이를 통해 ‘앞으로 어떤 메뉴가 뜨거나 질지’ 혹은 ‘어떤 요소의 영향을 받아서 해당 메뉴가 뜨거나 지는지’ 등을 파악할 수 있습니다.
- 컨셉 평가 데이터: 마지막은 본 아티클에서 살펴본 컨셉 평가 데이터입니다. 오픈서베이는 AI를 활용해서 신제품 컨셉 선호도를 예측하는 모델을 고도화하고 있으며, 추후에는 평가 점수와 텍스트를 포함하는 다양한 종류의 데이터에도 해당 기술을 적용할 수 있을 것으로 전망됩니다.
이외 XAI를 활용할 수 있는 다른 영역
앞으로 XAI는 더욱 다양한 분야에 활용될 것으로 전망됩니다. 마지막 파트에서는 어느 분야에서 활용될 수 있을지를 함께 살펴봅니다.
- 리뷰 데이터: 리뷰 데이터는 주관식 응답과 별점으로 구성된 컨셉 평가 데이터와 구조가 매우 유사합니다. 이에 소비자의 주관식 평가 데이터와 별점 데이터를 XAI가 학습해서, 제품 판매량에 긍정적인 영향을 미치는 속성이나 키워드를 분석할 수 있을 것으로 보입니다.
- 콘텐츠 성과: 디지털 콘텐츠는 출연자·감독·장르·개봉 시기 등 다양한 속성을 가집니다. 이에 콘텐츠의 어떤 속성이 성과에 긍정적 혹은 부정적 영향을 미쳤는지를 파악해서 미래 콘텐츠 전략을 수립하는 데 참고할 수 있을 것으로 예상됩니다.
- 고객 이탈 관리: 고객 이탈 관리는 과거부터 AI를 많이 활용해온 분야입니다. 고객 이탈 여부와 고객의 CS 건수·이용 탭·이용 빈도 등 데이터를 AI로 학습해서 고객 이탈 예측 모델을 구축하는 것입니다. 그럼 고객 이탈 가능성을 미치 예측하고 어떤 요인이 긍정적 혹은 부정적 영향을 미치는지 파악해서 리텐션을 도모할 수 있습니다.
데이터 기반 비즈니스 문제 해결 더 알아보기
본 아티클은 오픈서베이가 지난 2월 진행한 <오픈클래스: 해석 가능한 예측 모델링, eXplainable AI>를 토대로 제작했습니다. 해당 클래스는 AI 기술을 비즈니스 영역에서 어떻게 활용할 수 있는지, 오픈서베이는 현재 쌓고 있는 데이터에 XAI 기술을 어떻게 활용하고 있는지를 살펴봅니다. XAI에 대해 다 알아보고 싶다면 아래 링크에서 교육 영상을 살펴보시기 바랍니다.
또한, 오픈서베이는 비즈니스에 꼭 필요한 데이터 리터러시를 키우기 위한 교육 프로그램 ‘오픈클래스’를 매월 진행합니다. 데이터를 활용한 비즈니스 문제 해결 등 교육 세션에 대한 정보가 궁금하시다면 아래 버튼을 눌러 오픈클래스 관련 정보를 받아보세요.
