광고비 절감 테스트(Spend Cut Test)로 증분 매출을 역산하는 방법

증분을 확인하는 가장 직접적인 방법은 광고를 끄고 무슨 일이 일어나는지 보는 것입니다. 절감 테스트는 그 완화된 형태로, 예산을 0으로 만드는 대신 일정 비율만큼 낮춥니다. 관측 대상은 그 구간에서 매출이 얼마나 줄었는가이며, 줄어든 매출을 줄인 광고비로 나누면 그 구간의 한계 증분 효율이 나옵니다.

이 설계가 실무에서 선호되는 이유는 비용입니다. 완전 중단은 기회비용이 크고 브랜드 지표에도 영향을 줄 수 있지만, 부분 절감은 손실을 통제하면서 정보를 얻을 수 있습니다. 대신 얻는 정보의 범위도 좁습니다. 20% 절감 실험에서 나온 결과는 20% 구간의 답이지 전체 예산의 답이 아닙니다.

줄이는 방식에는 세 가지가 있습니다. ① 특정 지역에서만 줄이기 ② 특정 채널에서만 줄이기 ③ 전체에서 일정 비율로 줄이기입니다. ③은 비교 대상이 없어 결과 해석이 어렵기 때문에, 가능하면 ①과 ②를 조합해 대조군을 남기는 편이 낫습니다. 지역별로 절감폭을 다르게 두면 절감폭과 매출 반응의 관계를 곡선으로 볼 수 있어 정보량이 늘어납니다.

절감폭은 검출 가능성에서 역산합니다. 너무 작게 줄이면 매출 변화가 평상시 변동폭에 묻혀 아무것도 보이지 않습니다. 최근 4~8주 주간 매출의 변동폭을 먼저 구하고, 그보다 큰 변화를 만들 수 있는 절감폭을 선택해야 합니다. 이 계산 없이 "일단 10%만 줄여보자"로 시작하면 결과가 나온 뒤 해석할 수 없는 상태가 됩니다.

지오 홀드아웃에서 가장 흔한 실패는 대조군 지역의 예산을 줄이는 것으로 홀드아웃을 대신하는 것입니다. 예산만 줄이면 노출이 남아 대조군이 오염됩니다. 절감 테스트는 애초에 부분 절감을 전제로 하지만, 같은 원리가 다른 형태로 작동합니다.

첫째, 예산을 줄이면 매체 알고리즘이 가장 효율이 좋은 지면·오디언스에만 집중하므로, 남은 지출의 효율이 올라가 절감 효과가 과소평가될 수 있습니다. 둘째, 같은 계정의 다른 캠페인이 그 공백을 메우면 실제로는 총 노출이 줄지 않습니다. 셋째, 절감한 예산을 다른 채널로 옮기면 그 실험은 "채널 A 절감의 효과"가 아니라 "A에서 B로의 이동 효과"를 재게 됩니다. 절감한 예산을 어떻게 할지는 설계서에 미리 적어야 합니다.

계산 순서는 이렇습니다. ① 절감 구간과 비절감 구간(또는 절감 지역과 비절감 지역)의 매출을 같은 기간으로 정렬합니다. ② 사전 기간 관계를 근거로 절감이 없었다면 나왔을 매출을 추정합니다. ③ 실제 매출과의 차이가 절감으로 인한 손실입니다. ④ 손실을 절감한 광고비로 나누면 그 구간의 한계 증분 ROAS가 나옵니다. ⑤ 신뢰구간을 붙입니다.

④의 값은 평균 ROAS보다 낮게 나오는 것이 일반적입니다. 지출이 늘수록 매출 증가폭이 완만해지는 포화 효과 때문에, 마지막 구간의 효율이 전체 평균보다 낮기 때문입니다. 이 값을 전체 예산에 곱해 "채널 전체의 증분"을 만들면 과소 추정이 됩니다. 보고 시에는 "이 값은 절감한 구간의 한계 효율"이라는 문장을 반드시 함께 적으십시오.

절감 테스트에는 실제 매출 손실이 따르므로 중단 규칙이 필요합니다. 설계서에 세 줄을 넣습니다. ① 어느 지표가 어느 수준으로 떨어지면 즉시 원복하는가 ② 원복 판단을 누가 언제 하는가 ③ 원복한 경우 그 시점까지의 데이터를 어떻게 처리하는가.

③을 미리 정하지 않으면 조기 중단된 실험의 데이터를 두고 논쟁이 생깁니다. 원칙은 사전에 정한 최소 기간을 채우지 못한 데이터는 결론 근거로 쓰지 않고 참고 자료로만 남기는 것입니다. 중간 결과를 보고 유리한 시점에 멈추면 위양성률이 크게 올라간다는 문제가 여기서도 그대로 적용됩니다.