증분성 실험 설계에서 성과가 흔들릴 때 매체·소재·측정 중 어느 축부터 진단하나요?

가장 먼저 확인할 것은 통제(홀드아웃) 그룹에 광고가 실제로 노출되지 않았는지입니다. 계정 내 다른 캠페인과 타겟 오디언스가 겹치면(오디언스 오버랩) 통제 그룹의 일부가 다른 캠페인을 통해 광고에 노출되면서 실험 자체가 오염됩니다.

두 번째는 외부 변수 오염 여부입니다. 대형 이슈, 포털 메인 노출, 대규모 프로모션처럼 테스트·통제 양쪽에 동시에 영향을 준 사건이 있었는지 확인하고, 있었다면 해당 기간 데이터를 제외하거나 재시작을 검토합니다. 이 두 가지(오디언스 오버랩, 외부 오염)를 배제한 뒤에야 비로소 소재나 매체 자체의 성과 문제로 넘어가는 것이 순서입니다 — 측정 설계 문제를 소재 탓으로 오인해 크리에이티브만 계속 바꾸는 것이 가장 흔한 실수입니다.

세 축을 순서대로 배제해 나가면, 실제로 손봐야 할 지점(측정 설계인지, 타겟팅 겹침인지, 소재 피로도인지)이 명확해집니다.