증분효과 실험 결과가 통계적으로 유의하지 않을 때 캠페인 지속 여부 판단 기준

통계적 유의성 판단은 관행적으로 p-value 0.05 미만을 기준으로 삼습니다. 이 기준을 넘지 못했다는 것은 "관측된 차이가 우연으로 설명될 여지가 남아 있다"는 뜻이지, "차이가 없다"는 증명이 아닙니다. 실제로 효과가 있는데 놓치는 오류가 2종 오류이며, 그 확률은 검정력의 여집합입니다. 검정력 80%로 설계했다면 실제 효과가 있어도 20%의 확률로 못 잡습니다.

그래서 첫 질문은 "효과가 없었나"가 아니라 "이 설계가 잡아낼 수 있는 효과의 크기가 얼마였나"입니다. 설계 단계에서 정한 최소 검출 가능 효과보다 실제 효과가 작았다면, 유의하지 않게 나오는 것이 정상 작동입니다.

구글 애즈는 실험 결과가 통계적으로 유의미하지 않게 나오는 이유로 네 가지를 공식 안내합니다. ① 실험이 충분한 기간 진행되지 않음 ② 캠페인 트래픽 자체가 부족함 ③ 트래픽 분할 비율이 너무 작아 실험 쪽 트래픽이 부족함 ④ 적용한 변경사항이 실제로 유의미한 차이를 만들지 않음입니다. 증분 실험에도 그대로 적용되는 분류입니다.

점검 순서는 ①~③을 먼저 확인하고 ④를 마지막에 두는 것입니다. 순서를 뒤집으면 설계 결함을 효과 없음으로 결론 내리게 됩니다. 확인 방법도 단순합니다. 실제 누적 표본이 설계 시 계산한 필요 표본에 도달했는지, 기간이 계획대로 채워졌는지, 홀드아웃 비율이 계획대로 유지됐는지 세 줄을 대조하면 됩니다.

p값 하나로 판단하면 두 가지 상황이 구분되지 않습니다. 하나는 효과가 0에 가깝다는 것이 꽤 정밀하게 확인된 상황이고, 다른 하나는 효과가 클 수도 작을 수도 있어 아무것도 모르는 상황입니다. 이 둘을 가르는 것이 신뢰구간의 폭입니다.

읽는 방법은 이렇습니다. 신뢰구간이 -3%에서 +4% 사이라면, 큰 효과가 있을 가능성은 사실상 배제됐다고 볼 수 있습니다. 반면 구간이 -20%에서 +35% 사이라면 이 실험은 아무것도 말해주지 않습니다. 앞의 경우에는 축소 결정을 검토할 수 있고, 뒤의 경우에는 결정을 내리는 것 자체가 잘못입니다. 참고로 구글 애즈 실험 결과 화면의 신뢰수준 기본값은 80%이며 화면에서 다른 값으로 바꿔 볼 수 있으므로, 보고 전에 어느 신뢰수준으로 본 결과인지 반드시 확인해야 합니다.

결론을 내릴 수 없다는 것도 하나의 결론입니다. 이때 결정해야 할 것은 캠페인 유지 여부가 아니라 다음 세 가지입니다. ① 재검증 방식(표본을 키울 것인가, 검출 목표를 키울 것인가, 설계를 바꿀 것인가) ② 재검증 시한 ③ 그때까지의 잠정 운영 방침입니다.

③을 정할 때 쓰는 실무 기준이 있습니다. 해당 채널이 전체 예산에서 차지하는 비중, 그리고 그 채널을 끊었을 때 되돌리는 비용입니다. 비중이 작고 되돌리기 쉬운 채널이라면 잠정 축소로 두고 관측하는 선택이 가능하고, 비중이 크거나 재개에 학습 비용이 큰 채널이라면 현행 유지로 두고 재검증을 앞당기는 편이 낫습니다. 어느 쪽이든 "판단 불가라서 일단 그대로"가 아니라 "판단 불가라서 다음 검증까지 현행 유지"라고 적는 것이 중요합니다.

유의하지 않은 결과를 받아 든 뒤 기간을 조금 더 늘리거나 특정 세그먼트만 잘라 다시 계산해보고 싶어집니다. 이 행동에는 대가가 있습니다. 중간 결과를 들여다보다 유의해 보이는 순간 멈추면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다. 여러 세그먼트를 동시에 검정하는 것도 같은 문제를 만듭니다. 귀무가설이 전부 참이어도 α=0.05로 100번 검정하면 약 5건의 위양성이 우연히 나옵니다.

그래서 사후 탐색을 하려면 그 결과를 결론이 아니라 다음 실험의 가설로 취급해야 합니다. "특정 세그먼트에서 효과가 있어 보인다"는 관찰은 다음 실험의 대상 정의로 쓰고, 이번 실험의 결론에 넣지 않습니다. 이 구분을 문서에 적어두면 조직 내에서 같은 실수가 반복되지 않습니다.