1. A/B 테스트는 문제가 어디서 발생하고 고칠 수 있는 해결책을 제공하는 기법입니다.
Umbrellas often appear just before it pours, but banning them will not stop the rain,
it will just make evetyone more wet.
비가올 때 우산이 많이 보이지만, 우산을 못쓰게 한다고 비가 멈추는 것이 아니다처럼 어떤 기능을 변경했을 때, 어떤 원인으로 발생했는지 알기란 어렵습니다. 상관관계를 인과관계로 착각할 수 있는 위험성을 줄이기 위해 본 테스트를 진행합니다.
A/B 테스트는 분할 테스트, 버킷 테스트라고 불리며, 두 가지 콘텐츠를 비교하여 방문자/뷰어가 더 높은 관심을 보이는 버전을 확인할 수 있는 테스트 기법입니다. 주요 측정지표를 기반으로 가장 성공적인 버전을 측정하기 위해 사용합니다.
A/B 테스트를 진행하면, 1) 사용자 경험 개선 2) 전환율 증가 3) 비지니스 위험 감소 4) 매출증가의 효과를 기대할 수 있습니다. 실제 쿠팡에서는 매년 80,000만건 이상의 A/B 테스트를 진행하며 성장하고, 많은 기업들이 실제로 테스트를 하는 기법입니다.
2. A/B 테스트를 통한 문제해결 사례 (국내)
1) 여기어때
여기어때를 선정한 이유는 신규 서비스 런칭을 위한 테스트의 사례가 많았고, 해외 숙박 예약 서비스의 테스트와 어떤 차이점이 있을지 궁금해서 선택했습니다. 크게 5개의 서비스를 제공하고 있으며, 최근 해외 서비스까지 확장하고 있습니다. 신규 서비스 런칭을 위한 A/B 테스트 부터 다양한 사례를 아래에 기재해 보겠습니다.
· 여기어때
종합숙박 O2O 서비스 여기어때는 숙박산업의 정보 비대칭 문제를 해결하고 더 나은 숙박경험을 제공한다는 강력한 동기로 시작되었습니다. 숙소 이용객과 숙소를 연결하는 신뢰할 수 있는 플랫폼으로서 숙박산업의 변화를 주도하고 있습니다.
· 여기어때 모바일티켓
여기어때 액티비티는 여기어때 앱 하나로 내 주변과 전국의 먹거리와 즐길 거리 상품을 손쉽게 구매하고 선물할 수 있는 서비스입니다.
· 여기어때 비즈니스
여기어때 비즈니스는 출장과 복지 관리를 한 번에 관리하는 기업 전용 숙박, 액티비티 예약 플랫폼입니다. 가입비와 관리비 없이
전국 5만 6,000여개 상품과 특별한 할인가 기업전용 서비스입니다.
· HOTEL TIME
호텔타임은 전국 1만여 개의 최고급 특급호텔부터 유명 리조트, 풀빌라까지 엄선된 숙소를 최대 80% 할인된 가격으로 제공합니다.
· HOTEL 여기어때
HOTEL여기어때는 숙소의 기본가치인 '가격, 청결, 서비스'를 토대로 중소형호텔 산업을 변화시키겠다는 비전을 담은 프랜차이즈 브랜드입니다. 요일별 정가제, 오픈형 프런트 및 라운지, 청소 실명제로 차별화된 고객경험을 제공합니다.
2) 신규 해외 서비스 런칭 홈 화면 테스트
항공 서비스는 서비스 론칭부터 A/B 테스트를 진행했습니다. 항공팀의 첫 A/B 테스트는 ‘여기어때 메인 홈에서 항공 서비스를 어떤 형태로 노출할까?’라는 과제에서 시작했습니다. 여러 테스트를 거쳐 현재는 해외여행 파트를 분리해서 노출했고 보다 성공적으로 신규 서비스 인식을 재고 시켰습니다.
📌가설
신규 서비스 런칭 이용자 인식을 높이기 위해 메인 홈의 노출 방법을 여러 안으로 변경한다면, 해외 신규 서비스 이용률이 높아질 것이다.
📌 타겟
여기어때 이용자들에게 신규 서비스 인식 재고
상황 (a) 항공 단일로 노출 + 상단 추가 영역
상황 (b) 국내/해외로 분리해서 노출 + 상단 추가 영역
상황 (c) 국내/해외로 분리해서 노출
상황 (d) 현재 : 해외 파트 분리, 항공 숙소 특가 영역 추가
3) 숙소를 미리 예약하도록 유도하는 테스트
여기어때는 숙박 시설 재고를 빨리 매출시키고, 유동성을 확보하기 위해 아래와 같은 방식으로 숙소를 미리 예약하는 것을 유도했습니다. 미리 예약하면 특가가 적용됨을 알리는 방식을 단순 날짜 안내 방식에서 혜택 정보, 날짜 정보, 배지 추가로 활용도를 높였습니다. 그 결과 미리 예약하는 고객이 크게 증가했습니다.
📌 가설: 사용자는 여행 일정을 설정하는 캘린더 UI 근처에 미리 예약 날짜의 특가 정보를 본다면, 유연한 일정 계획을 가지고 있는 사용자는 미리예약특가 기간 중 하나의 기간으로 날짜를 변경해 예약할 것이다.
📌 타겟 : 유연한 여행 일정 계획을 가지고 있는 여행자
상황 (a) : 사용자가 설정한 날짜 값이 특가 기간 내에 부합하지 않을 시
사장님들이 설정한 ‘미리예약 특가 기간’들을 목록화해 노출한다.
상황 (b) : 사용자가 설정한 날짜 값이 특가 기간 내에 부합할 시
이미 미리예약 특가기간의 혜택을 받을 수 있는 사용자이므로 객실 아이템 카드에서 할인・혜택을 확인할 수 있다는 문구를 추가한다.
상황 1에서 유도가 되어 날짜를 변경한 사용자들 또한 상황 2에 해당하는 화면이 노출될 것이다.
3) 가격 혜택 정보 위치 변경 테스트
여기어때는 가격 카드 혜택 정보를 결제창에서 확인하는 것보다 미리 숙박 정보 창에서부터 확인할 수 있게 정보의 위치를 보다 앞당겨 매출을 이끌어 내는데 성공했습니다. 이것은 이용자가 미리 할인된 가격을 안다면 더 많은 매출을 끌어올릴 수 있다는 상관관계를 보여줍니다.
📌 가설 : 사용자는 가격 정보를 숙소 정보에서부터 확인할 수 있다면, 할인된 가격을 미리 계산할 수 있어서 예약률이 20%(가정) 상승 할 것이다.
📌 타겟 : 결제 혜택 정보를 사전에 확인하고 예약을 하는 사용자
상황 (a) : 예약 결제창까지 가서야 결제 혜택을 알 수 있음
상황 (b) : 숙박 정보 창에서부터 결제 혜택을 확인할 수 있음
3. A/B 테스트를 통한 문제해결 사례 (해외)
해외 숙박예약 사이트인 부킹 닷컴을 살펴보겠습니다. 연간 2만 5천 개가 넘는 AB 테스트를 한다고 하는데, 숙박 업소주의 사용자의 테스트 예시는 아래와 같습니다. 숙소를 등록하려고 가입한 숙박 업소주가 첫 3개월동안 크게 이탈하는 데이터를 확인하여 제품을 설명하는 둘러보기 단계에서 건너뛰는 선택지를 고른다는 것을 알게됩니다. 제품을 설명하는 것도 중요하지만, 제품이 고객에게 어떤 가치를 제공하는 지를 설명하는 것이 더 중요함을 알게 된 테스트 입니다.
📌 가설 : 제품 설명 건너뛰기 기능보다 고객 가치 제공의 설명을 하는 것이 숙박 업소주 고객이 30%(가정) 더 증가 할 것이다.
📌 타겟 : 숙소를 처음 등록하는 숙박 업소주
상황 (a) : 건너뛰기 기능을 없애고 계속하기와 닫기 기능만 실험 -> 13% 고객 증가
상황 (b) : 기능 변경 없이 팝업의 문구 수정 -> 50% 고객 증가
고객이 제품으로 어떤 일을 할 수 있을지가 아닌, 어떤 도움이 되는지 가치 전달 중심으로 수정
4. PM 이라면 어떤 AB 테스트를?
📌 해외 숙박 + 해외 항공 모두 여기어때
여기어때는 해외 숙소에 대해서는 최저가 보상을 하며 타사이트보다 비쌀 시, 포인트로 2배 적립해준다는 혜택을 제공하고 있습니다. 반면에 해외 항공에 대해서는 가격적인 혜택 강조가 다소 부족해 보였습니다. 그래서 대상을 '최저가 보상 해외 숙박 예매' 고객 대상 고객에게 항공권도 같이 예매를 권하기 위해 숙박 예약이 끝나면 자동으로 항공권 예매로 연결하여 보다 가격적인 혜택을 강조하는 ux를 추가하여 항공권 매출이 증가하는지 AB테스트를 진행하는 것을 제안합니다.
최저가 보상 해외 숙박을 예매한 이용자는 보다 가격에 민감한 이용자 일 것으로 가정하고, 더욱 가격 혜택이 있는 항공권이라면 숙박과 같이 항공도 빠르게 예매하는 테스트를 진행해 볼 수 있겠습니다. 이는 항공 가격의 할인율과 예매일자의 상관관계를 확인하고자 하는 테스트 입니다. 가격 혜택이 있다면, 보다 빠르게 예매 결정을 내리는지 알 수 있습니다. 긍정적인 상관관계가 있다면, 해외 숙박 예매전부터 항공 예매 가격 혜택을 강조하는 정보를 보다 빠른 단계에서 부터 보여줍니다. 그래서 장바구니에 숙박을 담고, 추후에 항공편과 같이 1번에 결제 할 수 있어 간편함과 빠른 예매를 도울 수 있습니다.
출처
[1] https://www.oracle.com/kr/cx/marketing/what-is-ab-testing/
[2] https://www.youtube.com/watch?v=n7TzAOwl01A
[3] https://www.elancer.co.kr/blog/view?seq=76
[4] https://techblog.gccompany.co.kr/a-b-테스트를-실패해도-괜찮은-이유-c1ace9169823
'서비스 기획 공부 👩🏻💻' 카테고리의 다른 글
| '필라이즈' 서비스 구현을 위한 데이터베이스 구성 (0) | 2023.01.16 |
|---|---|
| '여기어때' 랜딩페이지 어떤 이미지를? (0) | 2023.01.12 |
| 패션비교 드디어 한 곳에서 '멜리즈' (0) | 2023.01.10 |
| 4번의 실패 후 성공한 명함앱 '리멤버' (0) | 2023.01.09 |
| '마켓컬리' 메인화면 뜯어보자 (2) | 2023.01.05 |