지역 기반 증분성 테스트(지오 테스트)를 설계할 때 대조군 지역을 선정하는 기준

지오 홀드아웃 테스트에서 실험군·대조군 지역은 인구통계보다 행동, 즉 과거 매출·주문·전환이 유사한 곳끼리 매칭해야 합니다. 여기서 자주 어긋나는 지점이 '수준'과 '추세'의 혼동입니다. 두 지역의 월 매출 규모가 비슷하다는 것(수준)은 매칭 근거로 약하고, 두 지역의 매출이 주 단위로 같은 방향·같은 폭으로 움직였는지(추세)가 실제 판단 기준입니다. 확인 방법은 통계 지식 없이도 가능합니다. 사전 기간의 두 그룹 지표를 같은 축에 겹쳐 그려서 눈으로 확인하십시오. 두 선이 명절·프로모션·비수기 구간에서 함께 오르내리면 좋은 짝이고, 한쪽만 튀는 구간이 있다면 그 지역은 다른 요인(대형 오프라인 매장, 특정 기업 단체 구매 등)에 지배받고 있다는 뜻이라 대조군으로 부적합합니다. 그래프를 그리기 전에 상관계수부터 계산하면 우연히 높은 값이 나온 이상한 짝을 걸러내지 못합니다.

실무 가이드는 최소 10~15개의 매칭된 지역을 실험군과 대조군으로 나누고, 사전 기간 상관계수 95% 이상을 확보할 것을 권합니다. 다만 이 수치는 특정 업체들의 권고치이지 공식 표준이 아니라는 점을 반드시 짚고 넘어가야 합니다. 매체가 정한 요건도, 국내 법·업계 기준도 아닙니다. 이 권고치를 국내에 그대로 적용할 때 검토할 점은 세 가지입니다. 첫째, 지역 수입니다. 광역 단위로 나누면 17개 남짓이라 10~15개를 두 군으로 쪼개면 각 군이 지나치게 작아지고, 시·군·구 단위로 내려가면 지역별 전환량이 통계적으로 의미 있는 수준에 못 미치는 경우가 많습니다. 둘째, 규모 편중입니다. 수도권 비중이 매우 큰 계정에서는 수도권을 어느 군에 넣느냐가 결과를 지배하므로, 수도권을 실험에서 제외하거나 별도 층(strata)으로 분리해 설계해야 합니다. 셋째, 매체별 지역 타겟팅 최소 단위입니다. 매체가 지원하는 지역 단위보다 세밀하게 설계를 짜면 애초에 집행이 불가능하므로, 설계 전에 각 매체의 지역 타겟팅 옵션부터 확인하십시오.

가장 흔한 실패는 대조군 지역의 예산을 줄이는 것으로 홀드아웃을 대신하는 것입니다. 예산만 줄이면 노출이 남아 대조군이 오염되므로, 대조군 지역에서는 캠페인을 실제로 일시중지해야 합니다. 여기에 더해 계정 내 다른 캠페인이 그 지역에 도달하고 있지 않은지도 확인해야 합니다. 리프트 테스트 일반 원리에서도 통제 그룹에는 광고가 아예 노출되지 않도록 격리해야 하며, 계정 내 다른 캠페인과 오디언스가 겹치면 결과가 오염된다고 명시돼 있습니다. 실무 점검 순서는 이렇습니다. ①실험 대상 매체의 모든 활성 캠페인 목록을 뽑고 ②각 캠페인의 지역 타겟팅 설정을 열어 대조군 지역이 포함돼 있는지 확인하고 ③광역 타겟팅으로 전국이 잡혀 있는 캠페인은 대조군 지역을 제외 목록에 추가하고 ④브랜드 검색·리타게팅처럼 지역 설정이 없는 캠페인은 실험 기간 동안 어떻게 처리할지 미리 결정합니다. 마지막 항목을 결정하지 않고 시작하면 결과 해석 단계에서 반드시 분쟁이 생깁니다.

권고 기간은 하위 퍼널 전환 캠페인 최소 4주, 브랜드·상위 퍼널 8주이며, 같은 지역에서 다른 실험을 겹쳐 돌리지 않는 것이 원칙입니다. 4주·8주 역시 업체 권고치이지 공식 표준이 아니므로, 자사 전환 지연 분포를 확인해 조정해야 합니다. 판매주기가 긴 상품이라면 광고를 끊은 뒤 효과가 사라지기까지 시간이 걸리므로 4주로는 차이가 드러나지 않습니다. 기간 설계에서 함께 정해야 할 것이 '기간 중 금지 사항'입니다. 실험 기간에 프로모션·가격 변경·신제품 출시를 지역별로 다르게 집행하면 실험은 그 시점에 무효가 됩니다. 광고주 마케팅 캘린더를 미리 받아 겹치는 일정이 있는지 확인하고, 겹친다면 실험 시작일을 미루는 편이 결과를 억지로 해석하는 것보다 낫습니다. 통제할 수 없는 외부 사건(경쟁사 대형 프로모션, 지역 재난 등)이 발생하면 그 사실을 기록하고 해당 구간을 분석에서 어떻게 처리했는지 명시하십시오.

지오 테스트는 단발성 판정이 아니라 모델 자산으로 축적할 때 가치가 커집니다. Meridian GeoX는 구글이 공개한 지역 단위 증분성 실험 도구로, 특정 지역의 매체 집행을 중단하거나 확대하는 방식으로 실제 인과 효과를 측정한 뒤 그 결과를 Meridian MMM의 베이지안 사전분포로 되먹여 모델을 보정합니다. Meridian은 실험 데이터를 활용한 모델 보정 기능을 출시 시점부터 공식 기능으로 강조해왔습니다. 다만 이 설명은 구글 공식 발표를 다룬 업계 매체 보도에 근거하므로, GeoX의 세부 실행 절차와 정확도는 실제 사용 전 developers.google.com/meridian 공식 문서에서 직접 재확인해야 합니다. 그리고 보정 기능이 있다고 해서 실험 없이 정확한 모델이 자동으로 나오지는 않습니다. 표본이 부족하거나 설계가 잘못된 실험을 넣으면 보정 효과도 제한적입니다. 결국 여기서도 출발점은 대조군 지역을 제대로 골랐는가 하나로 돌아옵니다.