증분성 테스트에서 대조군에 광고를 노출시키지 않는 실무적 방법(홀드아웃 그룹)

증분성은 광고를 노출한 집단과 노출하지 않은 집단의 성과 차이에서, 광고가 없었어도 자연히 발생했을 매출을 빼고 순수 추가 매출만 남기는 방법론입니다. 여기서 결정적인 조건은 대조군의 노출이 0이어야 한다는 점입니다. 지오 홀드아웃 실무 가이드가 "예산을 줄이는 것이 아니라 캠페인을 실제로 일시중지하라"고 못 박는 이유가 이것입니다. 예산만 줄이면 노출이 남아 대조군이 오염됩니다.

현장에서는 광고주가 매출 하락을 걱정해 "절반만 줄이자"고 제안하는 경우가 많습니다. 이때는 거절이 아니라 대안을 드리는 편이 낫습니다. 매출 비중이 작은 지역군만 완전히 중단하거나, 사용자 단위 홀드아웃으로 노출 중단 비율 자체를 작게 가져가는 방식입니다. '작게 확실히 끄는 것'이 '넓게 흐리게 줄이는 것'보다 판정 가능한 결과를 냅니다.

가장 손이 덜 가는 경로는 매체가 제공하는 리프트 테스트입니다. 메타의 전환 리프트는 대상 오디언스를 무작위로 테스트(노출) 그룹과 통제(비노출) 그룹으로 나눠 같은 기간 두 그룹의 전환 성과 차이를 통계적으로 비교합니다. 통제 그룹에는 광고가 아예 노출되지 않도록 격리해야 하므로, 계정 내 다른 캠페인과 오디언스가 겹치면 결과가 오염됩니다.

그래서 리프트 테스트를 걸기 전에 계정 전체의 오디언스 지도를 먼저 그려야 합니다. 같은 리타게팅 모수를 쓰는 캠페인, 광범위 타겟팅으로 사실상 전 사용자를 포괄하는 캠페인이 실험 기간 동안 통제 그룹에 닿지 않는지 확인하세요. 고객 매치 리스트가 스마트 입찰·최적화 타겟팅에 자동으로 쓰이는 설정도 점검 대상이며, 구글 고객 매치에는 이를 계정 단위로 해제하는 체크박스가 있습니다.

실행 요건도 미리 봅니다. 리프트 테스트를 신뢰성 있게 돌리려면 주당 최소 100건 이상의 전환이 필요하고 사전에 2~4주간 안정적인 전환 데이터가 쌓여 있어야 한다는 가이드가 업계에 통용되지만, 이는 3차 매체 정리이며 메타 공식 최소 수치와 다를 수 있습니다. 최종 기준은 Ads Manager에서 리프트 테스트를 생성할 때 화면에 뜨는 계정별 최소 요건으로 삼으세요. 브랜드 리프트와 전환 리프트는 별개 제품이고 최소 집행 기준도 다르므로, 무엇을 재려는지부터 정하고 도구를 고릅니다.

지역을 나누는 실험에서는 실험군·대조군 지역을 인구통계가 아니라 행동(과거 매출·주문·전환)이 유사한 곳끼리 매칭해야 합니다. 핵심은 수준(levels)이 아니라 추세(trend)가 함께 움직이는지입니다. 사전 기간의 두 그룹 지표를 같은 축에 겹쳐 그려보면, 절대값은 달라도 오르내리는 모양이 같은지 바로 보입니다.

실무 가이드는 최소 10~15개의 매칭된 지역을 실험군·대조군으로 나누고 사전 기간 상관계수 95% 이상을 확보할 것을 권하며, 기간은 하위 퍼널 전환 캠페인 최소 4주, 브랜드·상위 퍼널은 8주를 권합니다. 이 수치는 특정 업체들의 권고치이지 공식 표준이 아니고, 국내 시장은 지역 수와 지역별 매출 규모가 달라 그대로 적용되지 않을 수 있습니다. 지역이 부족하면 광역 단위 대신 시·군·구 단위로 쪼개 매칭 후보를 늘리거나, 지역 대신 사용자 단위 홀드아웃으로 설계를 바꾸는 편이 낫습니다. 그리고 같은 지역에서 다른 실험을 겹쳐 돌리지 않습니다.

CRM·CDP를 쓴다면 특정 고객군을 억제(suppression) 리스트로 묶어 광고에서 제외하는 방식으로 홀드아웃을 만들 수 있습니다. 이때 통제해야 할 지점은 매칭 파이프라인입니다. 구글 고객 매치는 SHA256(Hex) 해싱과 함께 앞뒤 공백 제거, 소문자 변환, 전화번호 E.164 정규화가 요구되고, 메타 맞춤 타겟도 SHA-256 해싱을 쓰지만 정규화 세부 규칙이 완전히 동일하지 않을 수 있어 매체별 공식 가이드를 각각 따라야 합니다. 정규화가 어긋나면 매칭률이 떨어지고, 그만큼 '제외했다고 믿었지만 실제로는 노출된' 사용자가 생깁니다.

프로필 병합 품질도 홀드아웃 정확도에 직결됩니다. 같은 사람이 여러 프로필로 쪼개져 있으면 한 프로필만 억제되고 다른 프로필은 계속 노출됩니다. Identity Resolution의 대표적 활용처로 억제·빈도 관리가 꼽히는 이유입니다.

① 통제 그룹·대조 지역에 실제로 노출이 0인지 매체 리포트에서 지역·오디언스 분해로 확인합니다. ② 같은 기간 다른 팀이 프로모션·오프라인 행사·앱 푸시를 겹쳐 돌리지 않는지 사내 캘린더로 확인합니다. ③ 동시에 여러 지표를 검정하면 다중비교 문제로 위양성이 늘어나므로, 판정용 주지표를 하나로 미리 고정합니다. ④ 중간 결과를 보다가 유의해 보이는 순간 실험을 멈추면 실제 위양성률이 공표한 5%보다 훨씬 높아지므로, 종료 시점을 사전에 정해 문서로 남깁니다.

구글 Meridian은 A/B 테스트나 증분성 실험 데이터로 모델을 보정하는 기능을 공식 지원하고, Meridian GeoX는 지역 단위 실험 결과를 베이지안 사전분포로 되먹여 MMM을 보정하는 구조입니다. 다만 보정용 실험 데이터가 부실하면(표본 부족, 설계 오류) 보정 효과도 제한적이므로, 실험 설계 단계에서부터 "이 결과가 어느 모델의 어느 입력으로 들어갈지"를 정해두는 편이 낫습니다. GeoX의 세부 실행 절차는 developers.google.com/meridian 공식 문서에서 적용 전에 재확인하세요.