증분효과가 낮게 나온 채널을 축소할 때 브랜드 지표 훼손 여부 함께 판단하는 법

증분 실험이 재는 것은 실험 기간 내에 관측 가능한 지표의 차이입니다. 상위 퍼널 채널은 효과가 늦게 나타나고, 그 효과가 매출로 오기까지 시차가 있습니다. 4주 관측에서 전환 증분이 작게 나온 결과는 "이 기간에 이 지표로는 차이가 확인되지 않았다"는 진술이지, "이 채널은 브랜드에 기여하지 않는다"는 진술이 아닙니다.

그래서 축소 결정 전에 먼저 확인할 것은 실험 설계입니다. 관측 기간이 이 채널의 시차보다 길었는지, 판정 지표가 이 채널의 역할과 맞았는지 두 가지입니다. 브랜드 인지가 목적인 채널을 구매 전환으로만 판정했다면 그 결과는 축소 근거로 쓰기에 부족합니다.

브랜드 지표의 현재 수준입니다. 기록이 없으면 나중에 지표가 나빠져도 축소 때문인지 확인할 방법이 없습니다. 최소한 네 가지를 남기십시오. ① 인지도 조사값(최초상기·비보조인지·보조인지) ② 브랜드 검색량 ③ 직접 유입 규모 ④ 신규 고객 비중입니다.

①은 조사를 새로 해야 할 수도 있습니다. 비용이 부담이라면 최소 규모로라도 사전값을 남기는 편이 낫습니다. 신뢰수준 95%에서 표본오차는 500명일 때 ±4.4%포인트, 1,000명일 때 ±3.1%포인트이므로, 작은 표본으로는 미세한 변화를 잡지 못한다는 점은 감안해야 합니다. 대신 ②~④는 이미 보유한 데이터로 즉시 남길 수 있고, 매주 관측 가능하다는 장점이 있습니다.

한 번에 끊는 대신 단계를 나눕니다. 절차는 이렇습니다. ① 1단계로 예산의 일부만 줄입니다. ② 정한 관측 기간 동안 선행 지표와 매출 지표를 함께 봅니다. ③ 이상 신호가 없으면 2단계로 추가 축소합니다. ④ 단계마다 관측 결과를 기록합니다.

단계를 나누는 이유는 두 가지입니다. 첫째, 되돌릴 수 있는 폭을 유지하기 위해서입니다. 둘째, 어느 지출 수준에서 지표가 꺾이는지 확인하기 위해서입니다. 두 번째가 실질적인 소득입니다. 지출이 늘수록 매출 증가폭이 완만해지는 포화 효과 때문에, 채널의 효율은 지출 구간마다 다릅니다. 단계적 축소는 그 곡선의 아래쪽 구간을 관측하는 작업이기도 합니다.

광고 효과는 노출 즉시 끝나지 않고 시간이 지나며 줄어드는 형태로 이월됩니다. 그래서 축소 직후 몇 주 동안 지표에 아무 변화가 없는 것은 정상입니다. 이 구간에서 "역시 효과가 없던 채널"이라고 결론 내리고 남은 예산까지 한꺼번에 끊는 것이 가장 흔한 실수입니다.

관측 기간은 그 채널의 시차와 감쇠를 감안해 정해야 합니다. 과거에 그 채널이 완전히 멈췄던 구간이 있다면, 그때 지표가 몇 주 뒤부터 움직였는지가 좋은 참고값입니다. 그런 구간이 없다면 최소한 리포팅 버퍼와 판매주기를 합한 기간 이상은 관측한 뒤 판단하십시오.

지표가 움직였다고 해서 곧바로 훼손이라고 부를 수는 없습니다. 확인 순서는 세 단계입니다. ① 변화폭이 평상시 변동 범위 안인지 밖인지 봅니다. ② 같은 방향의 변화가 여러 지표에서 동시에 나타나는지 봅니다. 브랜드 검색량만 흔들렸다면 검색 트렌드 요인일 수 있지만, 검색량·직접 유입·신규 고객 비중이 함께 내려갔다면 신호로 볼 만합니다. ③ 축소하지 않은 비교 대상(다른 지역, 다른 제품군)에서도 같은 변화가 있었는지 확인합니다.

③이 있으면 판단이 훨씬 쉬워집니다. 축소를 지역 단위로 진행했다면 비축소 지역이 자연스러운 비교군이 됩니다. 전국 일괄 축소를 택하면 이 비교 자체가 불가능해지므로, 축소 계획을 세울 때부터 비교군을 남기는 방식을 우선 검토하는 편이 낫습니다.

축소 결정과 같은 자리에서 정해야 합니다. 조건문 형식으로 세 줄이면 됩니다. ① 브랜드 검색량이 기준 대비 어느 수준 이하로 몇 주 연속 떨어지면 원복한다 ② 신규 고객 비중이 어느 수준 이하로 내려가면 원복한다 ③ 원복 판단은 누가 언제 하는가.

기준값은 공식 표준이 없으므로 자사 데이터에서 만듭니다. 최근 4~8주 각 지표의 평상시 변동폭을 구하고, 그 변동폭을 벗어나는 수준을 기준으로 잡는 방식이 실무적입니다. 이 값을 미리 정해두지 않으면 지표가 나빠져도 "원래 이 정도는 움직인다"는 해석과 "축소 때문이다"는 해석이 맞서다가 대응 시점을 놓치게 됩니다.