증분성 실험 중 외부 변수(경쟁사 프로모션 등)의 영향을 통제하는 방법

경로는 세 가지입니다. 첫째, 비대칭 충격입니다. 경쟁사 프로모션이 특정 권역에만 집행되거나, 자사 오프라인 행사가 실험군 지역에서만 열리면 두 군의 차이에 광고 효과가 아닌 요인이 섞입니다. 둘째, 대조군 오염입니다. 메타 리프트 테스트는 대상 오디언스를 무작위로 노출군과 홀드아웃으로 나눠 같은 기간의 전환 성과 차이를 비교하는 구조인데, 계정 내 다른 캠페인과 오디언스가 겹치면 홀드아웃에도 광고가 닿아 차이가 줄어듭니다. 지오 테스트에서 대조군 캠페인의 예산만 줄이고 중단하지 않는 것도 같은 종류의 오염입니다. 노출이 남아 있으면 그건 비노출군이 아닙니다. 셋째, 기간 겹침입니다. 같은 지역에서 다른 실험이 동시에 돌아가면 두 실험이 서로의 외부 변수가 됩니다.

사전에 막을 수 있는 것부터 처리하세요. ① 배정 방식을 확인합니다. 오디언스를 무작위·비중복으로 분할하는 실험이라면 외부 충격도 두 군에 같은 확률로 걸리므로 상대적으로 안전합니다. 반면 지오 테스트는 무작위가 아니라 매칭 기반이라 지역 특이 충격에 구조적으로 취약합니다. ② 지역 매칭은 행동 지표로 합니다. 인구통계보다 과거 매출·주문·전환이 유사한 곳끼리 묶고, 사전 기간의 두 그룹 지표를 같은 축에 겹쳐 그려 추세가 함께 움직이는지 눈으로 확인합니다. 실무 가이드는 최소 10~15개의 매칭 지역을 실험군·대조군으로 나누고 사전 기간 상관계수 95% 이상을 확보할 것을 권하는데, 이는 특정 업체들의 권고치이지 공식 표준이 아니며 국내는 지역 수와 지역별 매출 규모가 달라 그대로 적용되지 않을 수 있습니다. ③ 기간을 넉넉히 잡습니다. 같은 가이드가 하위 퍼널 전환 캠페인 최소 4주, 브랜드·상위 퍼널 8주를 권합니다. 기간이 길수록 단발 외부 충격이 전체에서 차지하는 비중이 줄어듭니다. ④ 사전 조건을 확인합니다. 리프트 테스트는 시작 전 2~4주간 안정적인 전환 데이터가 쌓여 있어야 하고 주당 100건 이상의 전환이 필요하다는 가이드가 업계에서 통용되지만, 계정별 실제 최소 요건은 Ads Manager 실험 생성 화면에 뜨는 값을 최종 기준으로 삼아야 합니다. ⑤ 실험 캘린더를 하나로 통합해 같은 지역·같은 오디언스에 중복 실험이 걸리지 않도록 잠급니다.

경쟁사 활동처럼 통제 불가능한 변수는 막는 대신 기록합니다. 실험 일지를 하루 단위로 쓰고 자사 프로모션·가격 변경, 재고 품절, 언론 노출, 관측된 경쟁사 프로모션, 매체 정책 변경일, 공휴일과 기상 이변을 남기세요. 이 일지는 두 곳에서 값을 합니다. 하나는 결과 해석입니다. 리프트가 예상보다 낮게 나왔을 때 어느 날짜의 어떤 사건과 겹쳤는지 대조할 수 있습니다. 다른 하나는 MMM 입력입니다. Meridian은 가격·프로모션 같은 비매체 변수를 모델에 포함해 매출 영향을 함께 추정할 수 있고, 실험 결과를 모델 보정에 쓰는 기능도 공식 지원합니다. 다만 비매체 변수를 빠뜨리면 그 변수가 만든 매출 변화가 특정 매체 효과로 잘못 귀속되므로, 일지에 남기지 않은 사건은 나중에 보정 대상이 될 수 없습니다. 실험 하나로 판정하지 않는 것도 방법입니다. 같은 채널을 시즌을 달리해 두 번 측정하면 특정 시점의 외부 충격이 결론을 지배하는 일을 줄일 수 있습니다.

외부 변수 때문에 수치가 흔들리면 실험을 자주 열어보게 되는데, 여기서 다른 오류가 끼어듭니다. 실무 A/B 테스트에서 1종 오류가 가장 흔하게 생기는 경로가 중간 결과를 들여다보다가(peeking) 유의해 보이는 순간 테스트를 멈추는 것이고, 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다. 그래서 종료 시점은 시작 전에 표본 크기 계산으로 고정해 둡니다. 계산에는 검정력(관행적으로 80%), 유의수준(관행적으로 95%, α=0.05), 최소 검출 가능 효과, 대조군 기준 전환율 네 가지가 필요하며, 80%·95%는 법정 기준이 아니라 업계 관행이므로 의사결정 리스크가 크면 더 높게 잡아도 됩니다. 검정력 분석은 시작 전에 해야 하고, 이미 끝난 테스트에 대한 사후 검정력 계산은 해석을 오도합니다. 여러 채널·여러 지표를 동시에 검정하는 것도 위험합니다. 귀무가설이 전부 참이어도 α=0.05로 100번 검정하면 약 5건의 위양성이 우연히 나오므로, 검정 수가 많다면 본페로니 교정이나 벤저미니-호크버그 절차로 보정하고 애초에 주 지표 하나를 사전에 정해두는 편이 낫습니다.

세 가지를 순서대로 봅니다. ① 충격이 두 군에 대칭으로 걸렸는가. 전국 단위 사건이고 지역 편차가 없다면 차이 자체는 살아 있을 가능성이 높습니다. ② 충격 기간이 실험 기간에서 차지하는 비중이 얼마인가. 4주 실험 중 사흘이면 해당 구간을 제외하고 재계산해 결과가 뒤집히는지 확인합니다. 뒤집히면 결론을 내지 않습니다. ③ 사전 기간에 확인했던 두 그룹의 추세 동행이 실험 기간에도 유지됐는가. 대조군만 따로 움직였다면 매칭이 깨진 것이므로 재실행 대상입니다. 세 항목 중 둘 이상이 부정이면 결과를 예산 배분 근거로 쓰지 말고, 확인된 부분만 '조건부 관찰'로 보고하세요. 리포트에는 실험 설계, 통제한 변수, 통제하지 못한 변수, 제외한 구간, 그리고 이 결과를 어디까지 확장 해석할 수 있는지를 함께 적습니다.