증분효과 실험 예산을 별도로 확보해야 하는 이유와 규모 산정 기준

증분 실험은 광고를 노출하지 않는 집단을 만들어 비교하는 방식입니다. 즉 실험 기간 동안 일부 매출을 의도적으로 포기합니다. 이 활동을 월간 매출 목표로 평가받는 예산 안에 넣으면, 목표 달성이 급한 달에 가장 먼저 잘리는 항목이 됩니다. 실험이 늘 다음 분기로 미뤄지는 조직의 구조적 원인이 여기에 있습니다.

분리의 목적은 금액을 늘리는 것이 아니라 평가 기준을 다르게 두는 것입니다. 성과 예산은 매출로 평가하고, 실험 예산은 "결정을 바꿀 수 있는 근거를 만들었는가"로 평가합니다. 이 구분이 문서에 없으면 실험 담당자는 실험 결과가 나쁘게 나올 때마다 예산을 낭비했다는 평가를 받게 되고, 결과적으로 결론이 좋게 나올 실험만 하게 됩니다.

두 항목입니다. 첫째는 도구·측정 비용입니다. 매체 리프트 스터디 비용, 조사 비용, 분석 인력·솔루션 비용이 여기 들어갑니다. 브랜드 지표를 재는 경우 이 항목이 상당히 큽니다. 구글 고객센터는 브랜드 광고 효과 측정 최소 예산을 국가군별로 제시하며, 한국이 속한 국가군 기준으로 질문 1개짜리 스터디는 15,000달러, 질문 3개짜리는 60,000달러가 필요하다고 안내합니다. 금액과 국가군 분류는 개정될 수 있으므로 계획 확정 전에 원문과 매체 담당자에게 재확인해야 합니다.

둘째는 기회비용입니다. 홀드아웃 기간에 포기하는 증분 매출이 여기 해당합니다. 계산은 홀드아웃 모수가 평상시 기간당 만들어내던 매출에서, 광고가 없어도 발생했을 몫을 뺀 값에 실험 기간을 곱하는 방식입니다. 대부분의 실험에서 이 항목이 도구 비용보다 큽니다. 실험 예산을 세울 때 도구 비용만 계산하면 실제 부담이 과소평가됩니다.

"마케팅 예산의 몇 퍼센트"라는 방식으로 잡으면 근거가 약합니다. 역산이 낫습니다. 절차는 이렇습니다. ① 올해 검증하려는 항목을 목록으로 적습니다(채널별 한계 구간, 신규 채널 파일럿, 브랜드 캠페인 효과 등). ② 각 항목마다 필요한 설계와 기간을 정합니다. ③ 항목별로 도구 비용과 기회비용을 계산합니다. ④ 합계를 냅니다. ⑤ 감당 가능한 금액에 맞춰 목록을 자릅니다.

⑤가 실제 의사결정 지점입니다. 목록을 자를 때 기준은 금액 규모입니다. 예산 비중이 큰 채널일수록 검증 가치가 크므로, 총 집행액이 큰 항목부터 남깁니다. 이 우선순위를 표로 만들어 승인 자리에 가져가면, 실험 예산은 비용이 아니라 큰 예산을 지키기 위한 지출로 설명됩니다.

세 가지입니다. 첫째, 실험 예산에는 실패 비용이 포함돼 있다는 점입니다. 유의한 결과가 나오지 않는 실험도 발생하며, 그것이 설계 실패가 아니라 통계적으로 정상적인 결과일 수 있습니다. 검정력 80%로 설계했다면 실제 효과가 있어도 20%의 확률로 못 잡습니다. 이 사실을 승인 단계에서 공유해두지 않으면, 첫 번째 무의미한 결과에서 프로그램 전체가 중단됩니다.

둘째, 실험 결과가 예산을 늘리는 방향으로 나올 수도 있다는 점입니다. 증분이 크게 확인된 채널은 증액 대상입니다. 실험을 축소 근거로만 소개하면 조직 내 저항이 커집니다.

셋째, 실험 결과의 유효기간입니다. 결과는 특정 기간·예산 구간의 값이므로 재검증 주기를 함께 승인받아야 합니다.

줄이는 순서는 정해두는 편이 낫습니다. ① 측정 항목 수를 줄입니다(브랜드 설문은 항목 수가 곧 금액입니다). ② 검출 목표를 키웁니다. 작은 차이를 포기하면 필요한 표본과 기간이 줄어듭니다. ③ 실험 대상 채널 수를 줄입니다. ④ 사용자 단위 설계 대신 지역 단위 설계로 바꿔 도구 비용을 낮춥니다.

줄이지 말아야 할 것도 있습니다. 사전 기간 확보와 관측 종료까지의 대기 기간입니다. 이 둘을 줄이면 비용은 줄지만 결과를 쓸 수 없게 됩니다. 결과를 쓸 수 없는 실험은 절약이 아니라 전액 손실입니다.