CRM 자동화 시나리오의 A/B 테스트를 설계하는 방법

광고 소재 테스트는 노출 시점에 한 번 나누면 끝나지만, CRM 시나리오는 진입 후 여러 단계를 거칩니다. 그래서 분기 지점을 먼저 정해야 합니다. 시나리오 진입 시점에 나누면 전체 흐름 두 가지를 비교하는 것이 되고, 두 번째 메시지 직전에 나누면 첫 메시지에 반응하지 않은 사람들 안에서만 비교하는 것이 됩니다.

두 방식 모두 유효하지만 해석이 다릅니다. 진입 시점 분기는 "이 시나리오 전체를 A안으로 바꿀 것인가"에 답하고, 중간 분기는 "이 단계에서 무엇을 하는 게 나은가"에 답합니다. 목표가 무엇인지 먼저 정하지 않으면 결과가 나와도 어떤 결정을 내릴지 정해지지 않습니다.

비교하려는 항목은 문구, 오퍼 크기, 대기 시간, 채널, 발송 시각 중 하나여야 합니다. 두 개 이상을 동시에 바꾸면 차이가 나도 원인을 지목할 수 없습니다. 광고 영역의 실험 도구도 크리에이티브·타겟팅·노출위치 같은 단일 변수 비교에 적합하다고 안내되는데, CRM에서도 원칙은 같습니다.

여기에 시나리오 특유의 함정이 하나 있습니다. 대기 시간을 바꾸면 발송 시각이 함께 바뀐다는 점입니다. 세 시간 뒤 발송과 여섯 시간 뒤 발송은 대기 시간뿐 아니라 도착하는 시간대도 달라집니다. 이런 경우 두 변수를 완전히 분리하기 어려우므로, 결과를 해석할 때 시간대 효과가 섞여 있을 수 있다는 점을 함께 적어 두어야 합니다.

단계별 오픈율이나 클릭률로 승자를 정하면 자주 틀립니다. 열림은 많지만 구매로 이어지지 않는 문구가 있고, 반대의 경우도 있습니다. 판정은 시나리오 전체의 최종 전환으로 해야 하며, 관측 기간도 미리 고정해야 합니다.

측정 기간을 정하지 않으면 결과가 흔들립니다. 리텐션 측정에서 특정 시점 하나만 비교하면 다른 시점에서 결론이 뒤집히는 경우가 있어 전체 곡선을 함께 봐야 한다는 지적이 나오는데, CRM 시나리오도 같습니다. 7일 전환으로 볼지 30일 전환으로 볼지를 실험 시작 전에 정하고, 결과가 마음에 들지 않는다고 기간을 바꾸지 않아야 합니다.

필요한 표본 수의 공식 기준은 공개된 것이 확인되지 않습니다. 광고 영역에서 통용되는 주당 최소 전환 건수나 최소 5~7일 같은 수치는 해외 매체가 정리한 권고치이거나 특정 플랫폼의 학습 기간과 얽힌 값이라, CRM 시나리오에 그대로 옮길 근거가 없습니다.

국내 공식 기준은 아니지만 실험 도구가 공식 문서에 밝혀 둔 산출 기준은 있습니다. Optimizely의 표본 수 계산기는 통계적 유의수준 95%를 표준으로 두고 80~99% 사이에서 고르게 하며, 기준 전환율과 최소 검출 효과 두 값을 넣으면 필요한 안별 표본 수를 계산합니다. VWO는 도움말 문서에서 승자를 판정하려면 안별 전환 25건, 테스트 전체 방문자 1,500명, 최소 1주일 실행이라는 조건을 모두 충족해야 한다고 안내합니다. 둘 다 해외 웹 실험 도구가 자사 기준으로 공개한 값이라 CRM 시나리오의 국내 표준은 아니지만, 표본 수가 임의로 정하는 값이 아니라 기준 전환율·검출 효과·유의수준으로 역산되는 값이라는 점은 그대로 적용됩니다.

대신 자사 값으로 역산합니다. 그 시나리오의 월 진입 인원과 현재 전환율을 확인하고, 기대하는 개선폭을 잡은 뒤 그 차이를 구분할 수 있는 인원이 언제 모이는지 계산합니다. 두 집단의 잔존과 전환 인원수를 표로 만들어 유의성을 확인하는 검정 방식이 쓰이지만, 표본이 작으면 검정으로도 차이를 잡아내기 어렵습니다. 인원이 부족하면 실험을 여러 회차에 걸쳐 누적하거나, 개선폭이 큰 항목부터 테스트하는 편이 낫습니다.

기간을 정할 때 계절과 프로모션도 함께 봐야 합니다. 시즌 세일 기간에 걸친 실험은 두 안 모두 전환율이 올라 차이가 묻히기 쉽고, 반대로 비수기에는 표본이 모이는 속도가 느려집니다. 되도록 같은 조건의 연속된 기간에 실험을 배치하고, 중간에 대형 프로모션이 끼면 그 기간을 제외하거나 실험을 다시 시작하는 편이 결과를 신뢰할 수 있게 만듭니다.

A/B 테스트는 두 안 중 어느 쪽이 나은지에만 답합니다. "이 시나리오를 아예 돌리지 않는 것보다 나은가"에는 답하지 않습니다. 두 안 모두 그 시나리오가 없을 때보다 못할 수도 있는데, A와 B만 비교해서는 그 사실이 보이지 않습니다.

그래서 두 실험을 함께 설계합니다. A와 B로 나누는 동시에 아무것도 보내지 않는 홀드아웃을 소수 유지하는 방식입니다. 증분 분석은 발송 집단과 비발송 통제 집단을 비교해 그것이 없었어도 발생했을 성과를 제외하는 방법론이므로, 이 세 번째 군이 있어야 시나리오의 존재 가치까지 확인됩니다. 홀드아웃 인원에게도 정보성 메시지는 정상 발송해야 합니다.

세 군을 동시에 운영하면 각 군의 인원이 줄어 검증에 필요한 기간이 길어집니다. 그래서 홀드아웃은 A와 B보다 훨씬 작게 잡되, 여러 회차에 걸쳐 같은 인원을 유지해 누적으로 판정하는 방식을 권합니다. 이렇게 두면 개별 회차에서는 결론이 나지 않아도 분기 단위로는 시나리오의 존재 가치를 확인할 수 있습니다.