구글 광고 실험(Experiments)은 기존 캠페인을 원본으로 두고 테스트용 캠페인을 자동 생성해 성과를 비교하는 A/B 테스트 도구다
트래픽 분할 방식은 쿠키 기반과 검색 기반 두 가지가 있고, 쿠키 기반이 기본 권장값이다
쿠키 기반은 유저를 한쪽 그룹에 한 번 배정해 계속 유지하고, 검색 기반은 검색이 발생할 때마다 매번 새로 배정한다
수동 입찰 vs 스마트 입찰처럼 서로 다른 입찰 로직을 비교할 때는 쿠키 기반이 결과 오염을 줄여 더 신뢰할 수 있다
실험 목표는 최대 2개까지 설정할 수 있고, 분할 비율은 50:50이 기본 권장값이다
실험 기능이 캠페인 복제와 다른 점
구글 광고 실험은 기존 캠페인(원본)을 기반으로 별도의 테스트 캠페인을 자동으로 만들어, 정해진 기간 동안 원본과 테스트를 동시에 운영하며 성과를 비교하는 기능입니다. 단순히 캠페인을 복제해 따로 돌리는 것과 다른 점은, 실험 기능이 트래픽을 원본과 테스트 사이에 통제된 방식으로 나누고, 이후 통계적 유의성 판정까지 자동으로 계산해준다는 것입니다. 캠페인을 그냥 두 개 만들어 각각 운영하면 서로 다른 시기, 다른 트래픽 조건에서 성과를 비교하게 되어 순수한 입찰 전략 차이를 가려낼 수 없습니다.
수동 입찰과 스마트 입찰을 비교하는 상황이 대표적인 활용 사례입니다. 두 전략의 성과 차이가 실제 알고리즘의 우위 때문인지, 단순히 시기별 트래픽 변동 때문인지 구분하려면 실험 기능으로 같은 기간, 같은 조건에서 나란히 비교해야 합니다.
쿠키 기반 분할과 검색 기반 분할은 무엇이 다른가
실험의 트래픽 분할 방식에는 쿠키 기반(cookie-based)과 검색 기반(search-based) 두 종류가 있습니다. 쿠키 기반은 유저를 처음 한 번 원본 또는 테스트 그룹 중 한쪽에 배정하면, 그 유저가 이후 몇 번을 다시 검색하더라도 계속 같은 쪽 캠페인만 보게 유지하는 방식입니다. 검색 기반은 이와 달리 검색이 발생할 때마다 매번 무작위로 그룹을 새로 배정하기 때문에, 같은 유저가 어떤 날은 원본을, 어떤 날은 테스트를 보는 상황이 생길 수 있습니다.
이 차이가 왜 중요하냐면, 같은 유저가 원본과 테스트 양쪽을 오가며 노출되면 두 그룹 간 결과가 서로 영향을 주고받는 오염 효과가 생기기 때문입니다. 특히 리마케팅처럼 동일 유저의 반복 노출이 성과에 중요한 캠페인 유형에서는 이 오염이 결과를 왜곡시킬 수 있습니다.
수동 입찰 vs 스마트 입찰 비교에 왜 쿠키 기반이 더 맞나
수동 입찰과 스마트 입찰은 근본적으로 다른 로직으로 입찰가를 산출합니다. 스마트 입찰은 유저별 맥락 신호를 실시간으로 학습해 반영하는 반면, 수동 입찰은 사람이 정한 고정값 위주로 움직입니다. 이런 이질적인 두 로직을 비교할 때 같은 유저가 양쪽을 왔다 갔다 하며 노출되면, 유저의 행동 패턴 자체가 두 그룹에 섞여 들어가 어느 쪽 입찰 로직이 실제로 더 나은지 순수하게 가려내기 어려워집니다.
이 때문에 구글은 검색 캠페인 실험에서 쿠키 기반 분할을 기본값이자 권장 방식으로 제시합니다. 유저를 한쪽 그룹에 고정함으로써 다른 요인의 개입 없이 입찰 로직 자체의 차이만 비교할 수 있는 더 깨끗한 실험 조건을 만들 수 있기 때문입니다.
실험을 설계할 때 실무에서 챙겨야 할 설정값
실험을 만들 때는 실험 이름, 테스트 캠페인 접미사, 목표(측정항목), 실험 기간, 트래픽 분할 비율을 지정합니다. 목표는 최대 2개까지 선택할 수 있으며, 전환율이나 CPA처럼 이번 비교의 핵심 판단 기준이 되는 지표를 우선순위로 골라야 합니다. 트래픽 분할 비율은 50:50이 기본 권장값인데, 이는 양쪽 그룹에 비슷한 양의 데이터가 쌓여야 통계적 유의성 판정이 더 빨리, 더 정확하게 나오기 때문입니다.
실험 기간은 최소한 스마트 입찰의 학습 기간(대개 2주 이상)을 포함해서 설정해야 합니다. 학습이 끝나지 않은 상태에서 결과를 비교하면 스마트 입찰 쪽이 불리하게 나올 수밖에 없고, 이는 공정한 비교가 아닙니다.
실험 중 자주 하는 실수는 무엇인가
가장 흔한 실수는 실험이 시작된 뒤 원본 캠페인이나 테스트 캠페인 중 한쪽만 예산·키워드·소재를 따로 수정하는 것입니다. 이렇게 하면 비교 대상 자체가 실험 시작 시점과 달라져, 나중에 나온 성과 차이가 입찰 로직 때문인지 다른 설정 변경 때문인지 구분할 수 없게 됩니다. 실험 기간 중에는 원본과 테스트 양쪽에 동일한 변경만 적용하거나, 가능하면 아무것도 건드리지 않는 것이 원칙입니다.
또 하나는 실험 기간을 너무 짧게 잡는 것입니다. 트래픽이 적은 캠페인에서 1주일 만에 결론을 내리려 하면 데이터량 자체가 부족해 통계적으로 의미 있는 결과를 얻기 어렵습니다. 이 경우 실험을 종료하지 말고 목표 측정항목에 필요한 데이터가 쌓일 때까지 기간을 연장하는 것이 낫습니다.
다음 행동
수동 입찰에서 스마트 입찰 전환을 검토 중이라면, 실험 기능에서 분할 방식을 쿠키 기반·50:50으로 설정하고 실험 기간을 최소 2주 이상(스마트 입찰 학습 기간 포함)으로 잡아 실행해보세요. 실험 도중에는 원본·테스트 캠페인 어느 쪽도 설정을 따로 건드리지 않도록 담당자 간에 미리 공유해두는 것도 중요합니다.
← 이전 글 · 레슨 04 [실패 사례 분석] 급격한 목표치 변경으로 인한 머신러닝 다운: tROAS 값을 한 번에 상향 조정했다가 비딩이 영구 멈춘 케이스 역추적
CHALLENGE
배운 걸 실전 문제로 확인
카테고리별 Level Test로 실무 레벨을 점검해보세요.