마케팅 성과 검증을 위한 사전 실험 설계서(Pre-registration) 작성법

막으려는 것은 두 가지입니다. 하나는 결과를 본 뒤 유리한 기준으로 갈아타는 일이고, 다른 하나는 중간 결과를 들여다보다 좋아 보이는 시점에 실험을 멈추는 일입니다. 후자는 특히 위험합니다. 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다.

이 두 가지는 악의에서 나오지 않습니다. 성과 압박이 있는 조직에서는 자연스럽게 발생합니다. 그래서 개인의 자제력이 아니라 문서와 절차로 막아야 합니다. 사전 설계서가 그 장치입니다.

연구 영역에서 가장 널리 쓰이는 사전등록 양식은 가설·설계·표본 계획·분석 계획을 포괄하는 OSF Preregistration 템플릿과, 한 페이지 분량 9개 문항으로 구성된 AsPredicted 양식입니다. 두 양식 모두 분석을 시작하기 전에 무엇을 어떻게 검정할지 먼저 확정해 기록하는 것을 목적으로 합니다.

다만 학술 연구용 양식이라 마케팅 실험에 그대로 옮기면 항목이 남거나 모자랍니다. 실무에서는 문항 수를 줄이고 예산·조치 항목을 추가하는 방식이 맞습니다. 개별 문항의 정확한 문구는 2차 정리 자료마다 다르게 소개되므로, 양식을 그대로 쓸 계획이라면 원문에서 확인하십시오.

일곱 항목이면 실무에서 충분합니다.

① 가설: 무엇을 바꾸면 왜 어떤 지표가 얼마나 바뀔 것인지 구체적으로 씁니다. "채널 A를 4주간 중단하면 총 주문이 8% 이상 감소할 것이다"처럼 방향과 크기를 함께 적습니다. ② 주 지표와 보조 지표: 판정에 쓰는 지표는 하나로 못 박습니다. 여러 지표 중 좋게 나온 것을 골라 보고하는 일을 막는 장치입니다. ③ 집단 구성: 실험군·대조군을 어떻게 나누는지, 배정 방식과 규모를 적습니다. ④ 표본과 기간: 필요한 표본 수와 그 근거, 시작일과 종료일, 판정에서 제외할 초기 구간을 적습니다. ⑤ 판정 기준: 유의수준, 검정력, 최소 검출 가능 효과, 신뢰수준을 명시합니다. ⑥ 제외 규칙: 어떤 사건이 발생하면 어느 구간을 제외하거나 실험을 중단할지 정합니다. ⑦ 결과별 조치: 결과가 A면 무엇을, B면 무엇을 할지 미리 적습니다.

⑤와 ⑦은 함께 작동합니다. 판정 기준만 적고 조치를 비워두면, 결과가 나온 뒤 "유의하긴 한데 폭이 작아서"라는 식으로 결정이 미뤄집니다. 반대로 조치만 적고 기준이 없으면 무엇을 근거로 그 조치를 하는지가 남지 않습니다.

작성 요령은 조건문으로 쓰는 것입니다. "증분 ROAS 신뢰구간의 하한이 손익분기 기준을 넘으면 예산을 20% 증액한다", "구간이 손익분기를 포함하면 현행 유지하고 다음 분기에 재검증한다", "구간 상한이 손익분기 아래면 예산을 30% 축소한다"처럼 세 갈래로 적어두면 결과 회의가 확인 절차로 끝납니다. 표본 크기 계산에 들어가는 최소 검출 가능 효과 역시 이 조건문에서 도출되는 값이라, 두 항목을 같이 쓰면 서로 검증됩니다.

세 가지를 정해야 문서가 살아 있게 됩니다. 첫째, 승인자입니다. 예산 결정 권한이 있는 사람이 판정 기준과 조치에 동의했다는 기록이 있어야 결과 단계에서 기준이 흔들리지 않습니다. 둘째, 시점 고정입니다. 실험 시작 전에 확정본을 저장하고, 이후 수정은 이력으로 남깁니다. 수정 자체를 금지할 필요는 없지만, 수정 시점이 데이터를 본 뒤인지 전인지는 반드시 구분돼야 합니다.

셋째, 보관 위치입니다. 개인 드라이브가 아니라 실험 대장에 함께 보관합니다. 담당자가 바뀌면 설계서가 사라지고, 그러면 과거 실험 결과를 재현할 수 없게 됩니다. 대행사와 공동으로 운영하는 실험이라면 설계서 원본을 광고주 측이 보유하도록 계약 문서에 적어두는 편이 안전합니다.