구글 검색·PMax 운영 효과를 증분 효과로 검증하는 설계법

증분 분석은 광고 노출 집단과 비노출(통제) 집단을 비교해, 광고가 없었어도 자연적으로 발생했을 매출을 제외하고 순수 추가 매출만 분리해 측정하는 방법론입니다. 반대로 말하면 매체 리포트의 전환수는 이 분리를 하지 않은 숫자입니다.

이 차이가 구조 결정에 직접 영향을 줍니다. PMax를 검색 캠페인 옆에 붙였을 때 계정 전체 전환수가 늘었다고 해서 PMax가 만든 것이라고 볼 수 없습니다. 검색 테마는 검색 캠페인의 구문·광범위 매치 키워드와 동일한 우선순위로 취급되고, 검색어와 완전히 일치하는 정확 매치 키워드가 있으면 그 키워드가 우선합니다. 두 캠페인이 같은 검색어를 놓고 내부적으로 우선순위 경쟁을 하는 구조라, 어느 쪽이 만든 전환인지는 리포트 합계로는 갈리지 않습니다.

PMax 실험은 세 종류입니다. 업리프트 실험은 검색·디스플레이·디맨드젠 같은 기존 캠페인 유형에 PMax를 추가로 얹었을 때 생기는 전환·전환 가치의 증분을 측정합니다. 업그레이드 실험은 기존 쇼핑·DSA·디스플레이 캠페인의 예산을 PMax로 옮겼을 때의 성과를 비교하고, 최적화 실험은 한 PMax 캠페인 안에서 설정과 자산 변형을 비교합니다.

구조 의사결정과 짝이 맞는 실험은 각각 다릅니다. "PMax를 새로 도입할까"는 업리프트, "기존 쇼핑을 PMax로 갈아탈까"는 업그레이드입니다. 이 순서를 바꿔 업그레이드 실험 결과로 도입 여부를 판단하면, 예산을 옮긴 효과와 새로 더한 효과가 섞입니다. 다만 이 고객센터 문서에는 트래픽 분할 비율·최소 요건·권장 기간이 명시돼 있지 않으므로, 실험을 걸기 전에 실험 설정 화면에서 요구되는 최소 조건을 직접 확인해야 합니다.

검색 캠페인은 맞춤 실험을 씁니다. 기존 캠페인을 기반으로 테스트 캠페인을 자동 생성해 원본과 동시에 운영하면서 성과를 비교하는 도구이고, 실험 이름·접미사·목표·기간을 설정합니다. 목표는 최대 2개까지 선택할 수 있습니다.

분할 방식이 결과 해석을 좌우합니다. 쿠키 기반 분할은 사용자를 한 번 배정하면 이후 몇 번을 검색하든 같은 쪽만 보게 유지하고, 검색 기반 분할은 검색이 일어날 때마다 다시 배정해 같은 사용자가 양쪽을 모두 볼 수 있습니다. 구글은 검색 캠페인 실험에서 쿠키 기반을 기본이자 권장 방식으로 제시하며, 분할 비율은 50:50이 기본 권장값입니다. 같은 사람이 양쪽을 다 보는 오염을 줄이려는 것이므로, 특별한 이유 없이 검색 기반으로 바꾸지 않는 편이 낫습니다.

구글 광고는 통계적 유의성을 1-p값으로 계산한 신뢰도로 표시하고 50% 이상을 기본으로 봅니다. 다만 50%는 최소 기준일 뿐이어서, 결론을 근거로 계정 구조를 바꿀 생각이라면 90% 이상을 목표로 두는 편이 안전합니다. 마케팅 실무에서는 p값 0.05를 유의수준으로 삼는 관행이 통용됩니다.

신뢰도는 데이터량이 받쳐줘야 올라갑니다. 저트래픽 캠페인이나 틈새 키워드는 충분한 표본이 쌓이는 데 시간이 오래 걸리므로 실험 기간을 짧게 잡으면 결론이 나오지 않습니다. 여기에 학습 리셋이 겹칩니다. 학습 기간은 입찰 전략 변경·예산 수정·전환 추적 설정 변경·캠페인 구조 재편성이 발생하면 리셋되므로, 실험 기간 중에는 실험 변수 외의 설정을 건드리지 않아야 합니다.

브랜드 검색 잠식처럼 '광고를 끄면 자연 검색이 대신 받아줄 것인가'를 묻는 질문은 캠페인 실험으로 답이 나오지 않습니다. 이때 쓰는 것이 지역 홀드아웃입니다. 실무 가이드는 기준선 4주와 광고 중단 4주를 합친 8주 설계로 순증 비율을 비교하는 방식을 제시합니다.

지역 선정이 이 설계의 성패를 가릅니다. 실험군·대조군 지역은 인구통계가 아니라 과거 매출·주문 같은 행동이 닮은 곳끼리 매칭해야 하고, 실무 가이드는 최소 10~15개의 매칭 지역과 사전 기간 상관계수 95% 이상을 권합니다. 대조군은 예산을 줄이는 것이 아니라 캠페인을 실제로 일시중지해야 합니다. 이 조건을 못 갖추는 규모라면 지역 실험 대신 기간 비교로 내려가되, 결과를 인과가 아니라 참고로 다루는 편이 정직합니다.