표본 크기는 검정력, 유의수준, 최소 검출 가능 효과, 대조군 기준 전환율 네 가지 입력으로 계산된다
네 입력 중 실무에서 조정 가능한 것은 최소 검출 가능 효과와 측정 지표다. 나머지는 사실상 고정값이다
구매 전환이 드물면 장바구니 담기·결제 시작 같은 상위 이벤트로 지표를 올려 발생 빈도를 높이는 방법이 있다
기간을 늘리는 것은 표본을 늘리지만 외부 오염 위험도 함께 늘린다. 늘릴 수 있는 한계가 있다
유의성이 안 나올 때 "결론 없음"을 명시적으로 적는 것도 유효한 결과다. 억지 승자 선언이 더 비싸다
표본이 부족하다는 말은 정확히 무슨 뜻인가
표본 크기는 네 가지 입력으로 계산됩니다. 검정력(관행 기준 80%), 유의수준(관행 기준 95%, 즉 유의확률 0.05), 최소 검출 가능 효과, 그리고 대조군의 기준 전환율입니다. 표본이 부족하다는 말은 이 계산 결과에 도달하지 못했다는 뜻입니다.
여기서 중요한 것은 부족한 상태에서 결론을 내리면 어떤 오류가 생기는지입니다. 1종 오류는 실제로 차이가 없는데 효과가 있다고 결론 내리는 오류이고, 2종 오류는 실제로 차이가 있는데 없다고 결론 내리는 오류입니다. 표본이 작으면 2종 오류가 커지고, 여기에 중간 확인까지 겹치면 1종 오류도 함께 커집니다. 소규모 예산에서 두 오류가 동시에 커지는 구조입니다.
지표를 바꿔 발생 빈도를 올리는 방법
가장 실효성 있는 대안은 측정 지표를 퍼널 위로 올리는 것입니다. 구매 전환이 드물다면 장바구니 담기나 결제 시작 같은 상위 단계 이벤트로 최적화·측정 목표를 바꿔 이벤트 발생 빈도를 높이는 방법이 매체 운영에서도 학습 제한을 벗어나는 수단으로 제시됩니다. 조정 후에는 최소 7일간 큰 변경 없이 유지해야 하며, 조기 수정은 카운트를 리셋시킵니다.
다만 대체 지표를 쓸 때는 두 가지를 함께 확인해야 합니다. 첫째, 그 상위 이벤트가 실제 구매와 얼마나 연결되는지 과거 데이터에서 비율을 확인합니다. 둘째, 그 비율이 두 실험군에서 다르게 나타날 가능성이 없는지 봅니다. 상위 지표에서 이겼지만 최종 구매에서는 졌다면, 대체 지표가 잘못 고른 것입니다.
기간을 늘리는 방법의 한계는 어디인가
표본을 늘리는 가장 단순한 방법은 기간 연장입니다. 구글 애즈 고객센터도 실험을 최소 4~6주 이상 진행할 것을 권하고, 구매 주기가 긴 업종은 전환 주기 1~2회를 기다리라고 안내합니다. 소규모 예산일수록 이 권장 기간의 상단을 잡아야 합니다.
그러나 기간을 늘릴수록 외부 변수에 노출되는 시간도 길어집니다. 대형 이슈나 프로모션으로 트래픽 패턴이 급변하면 결과가 오염될 수 있고, 그럴 때는 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적 대응입니다. 즉 무한정 늘릴 수 없습니다. 시작 전에 최대 기간을 정해두고, 그 기간까지 표본을 못 채우면 실험 자체를 접는 규칙을 세워두는 편이 낫습니다.
여러 캠페인을 묶어 보는 방법은 언제 유효한가
소재 하나를 여러 캠페인에서 돌리고 있다면, 캠페인별로 나눠 보지 말고 소재 단위로 합쳐 보는 방법이 있습니다. 이렇게 하면 각 소재의 노출·클릭·전환 표본이 커집니다.
단, 합칠 수 있는 조건이 있습니다. 캠페인 목적과 최적화 이벤트가 같아야 하고, 지면 구성이 크게 다르지 않아야 합니다. 목적이 다른 캠페인의 데이터를 합치면 소재 차이가 아니라 캠페인 구성 차이를 보게 됩니다. 또 매체별 전환 기여 기간이 다르면 매체를 가로질러 합치는 것도 위험합니다. 네이버 검색광고는 클릭 후 15일, 네이버 GFA는 30일, 메타는 7일이 기본값으로 흔히 쓰이므로 같은 기간이라도 잡히는 전환의 범위가 다릅니다.
유의성 대신 무엇으로 결정할 수 있나
표본을 아무리 모아도 유의성이 안 나오는 규모가 실제로 존재합니다. 이때는 판단 기준을 바꿉니다. 사전에 정한 손절 규칙으로 운영하는 방식입니다.
예를 들어 새 소재를 투입하면서 "누적 지출이 목표 CPA의 3배를 넘을 때까지 전환이 0이면 정지한다"처럼 시작 전에 규칙을 정합니다. 이것은 통계적 결론이 아니라 손실 한도 관리이며, 그렇게 명시해야 합니다. 리포트에도 "통계적 유의성 검증이 아니라 사전 정의된 손절 기준에 따른 조치"라고 적습니다.
다른 방법은 개별 실험 대신 증분 관점으로 올라가는 것입니다. 노출 집단과 비노출 집단을 나눠 자연 발생 매출을 제외한 순수 추가분만 보는 증분 측정은 소재 하나가 아니라 캠페인 전체 단위에서 판단을 내려줍니다. 소재 단위로 승자를 못 가리더라도 캠페인이 전체적으로 순증을 만드는지는 확인할 수 있습니다.
결론을 못 내린 실험은 어떻게 기록하나
가장 나쁜 처리는 조용히 덮는 것입니다. 다음 분기에 같은 실험을 또 설계하게 됩니다. 실험 대장에 결과를 "결론 없음"으로 적고, 그렇게 된 이유를 구글이 안내하는 네 가지 원인 중 무엇이었는지로 기록합니다. 기간 부족, 트래픽 부족, 분할 비율 과소, 실제 차이 없음 중 하나입니다.
이 기록이 쌓이면 다음 실험 설계가 달라집니다. 트래픽 부족이 반복되는 계정에서는 애초에 실험 대신 손절 규칙 운영으로 방식을 바꾸는 판단을 팀이 근거를 갖고 내릴 수 있습니다.
다음 행동
현재 준비 중인 실험의 대조군 기준 전환율과 목표하는 개선폭을 적어보고, 그 조합으로 필요한 표본이 지금 트래픽에서 몇 주 만에 모이는지 계산해보세요. 몇 달이 나온다면 실험 설계 자체를 바꿔야 합니다.
← 이전 글 · 레슨 07 세그먼트별 크리에이티브 매칭이 어긋났을 때 되돌리는 우선순위 판단법
CHALLENGE
배운 걸 실전 문제로 확인
카테고리별 Level Test로 실무 레벨을 점검해보세요.