광고 A/B테스트는 매일 새로운 방문자가 유입되므로 표본을 빠르게 모을 수 있고, 클릭이나 구매처럼 결과도 비교적 짧은 시간 안에 나옵니다. 반면 CRM A/B테스트는 이미 정해진 고객 기반(예: 이번 달 재활성화 대상 500명) 안에서 실험해야 하므로 표본 자체가 제한적입니다. 게다가 재구매율이나 리텐션처럼 결과가 나오기까지 며칠에서 몇 주가 걸리는 지표를 보는 경우가 많습니다. 이 차이 때문에 CRM A/B테스트는 광고보다 신중하게 설계해야 하고, 결과 해석도 더 조심스러워야 합니다.
29강 제목처럼 메시지, 쿠폰, 발송 타이밍은 모두 실험 대상이 될 수 있지만, 한 번의 테스트에서 여러 변수를 동시에 바꾸면 어떤 요인 때문에 결과가 달라졌는지 알 수 없습니다. 예를 들어 A안은 "다른 문구 + 다른 혜택"이고 B안은 원래 문구와 혜택이라면, A안이 이겼을 때 문구 때문인지 혜택 때문인지 구분할 수 없습니다. 한 번에 하나의 변수만 바꾸는 것이 원칙입니다.
CRM 대상자는 이미 세그먼트로 나뉘어 있으므로, 그 세그먼트 안에서 다시 무작위로 절반씩 나눕니다. 이때 중요한 것은 세그먼트 특성이 A안과 B안에 고르게 섞이도록 무작위로 배정하는 것입니다. 예를 들어 최근 가입한 고객이 A안에 몰리고 오래된 고객이 B안에 몰리면, 결과 차이가 실험 변수 때문인지 애초에 두 그룹의 성격이 달랐기 때문인지 알 수 없게 됩니다. 무작위 배정(간단히는 고객 ID 끝자리 홀짝 등)을 쓰면 이런 문제를 피할 수 있습니다.
CRM은 대상자 수 자체가 적은 경우가 많습니다(예: VIP 고객 100명). 이럴 때는 통계적으로 확실한 결론을 내리기 어렵다는 점을 인정하고 시작하는 것이 좋습니다. 표본이 적으면 아래와 같은 방식으로 위험을 줄입니다.
이 부분은 30강에서 통계적 유의성과 함께 더 자세히 다룹니다.
CRM A/B테스트의 성공 지표는 클릭률에 머물러서는 안 됩니다. 클릭은 했지만 구매로 이어지지 않았다면 진짜 목적(재구매, 리텐션)을 달성하지 못한 것입니다. 아래처럼 단계별 지표를 함께 보는 것이 안전합니다.
1차 지표만 보고 승패를 정하면, 자극적인 문구나 과도한 혜택이 클릭은 늘리지만 실제 재구매나 마진에는 도움이 안 되는 경우를 놓칠 수 있습니다.
실험을 며칠 동안 돌릴지도 미리 정해야 합니다. 너무 짧게 관찰하면 아직 결과가 다 나오지 않은 상태에서 성급하게 판단하게 되고, 너무 길게 끌면 다음 캠페인 일정에 지장을 줍니다. 기간을 정할 때는 이 시나리오의 목표 행동이 발생하기까지 걸리는 평균 시간을 기준으로 삼습니다. 예를 들어 재구매 유도 메시지의 목표가 발송 후 7일 이내 재구매라면, 관찰 기간도 최소 7일 이상은 확보해야 합니다. 관찰 기간을 목표 행동의 발생 주기보다 짧게 잡으면, 실제로는 반응했을 고객을 놓치고 "효과 없음"으로 잘못 판단할 수 있습니다.
[CRM A/B테스트 설계표]
테스트명:
- 대상 시나리오(예: 재활성화 2차):
- 실험 변수(메시지/혜택/타이밍 중 하나만):
- 변수 외 나머지 조건은 A안·B안 동일하게 고정했는가(Y/N):
대상자 분리
- 전체 대상자 수:
- A안 인원 / B안 인원:
- 무작위 배정 방식:
A안 내용:
B안 내용:
측정 지표
- 1차 지표(열람률/클릭률):
- 2차 지표(재구매율/재방문율):
- 측정 기간(발송 후 며칠까지 볼 것인가):
사전 기준
- 표본이 20명 이하라면 실험 대신 무엇을 할 것인가:
- 어느 정도 차이가 나야 승자로 인정할 것인가(대략적 기준):
30강. 테스트 결과 해석과 시나리오 반영에서 실험 결과가 우연인지 실제 차이인지 구분하고 시나리오에 반영하는 방법을 다룹니다.