증분효과 실험 결과를 대행사 성과 평가(KPI)에 연동할 때의 함정

세 가지 성질 때문입니다. 첫째, 측정 빈도입니다. 증분 실험은 분기에 한두 번 돌릴 수 있는 활동이라 월간 평가 주기와 맞지 않습니다. 둘째, 불확실성입니다. 결과는 점 추정치가 아니라 구간이며, 구간이 넓으면 값의 변화가 성과 변화인지 측정 오차인지 구분되지 않습니다. 셋째, 통제 가능성입니다. 증분은 시장 상황과 제품 경쟁력에도 좌우되므로 대행사의 운영 역량만으로 설명되지 않습니다.

KPI의 기본 요건은 자주 측정되고, 안정적이며, 평가 대상이 통제할 수 있는 지표라는 점입니다. 증분 지표는 세 요건 모두에서 취약합니다. 그렇다고 증분을 평가에서 빼면 표면 지표만 좇는 문제가 그대로 남습니다. 그래서 연동 방식을 다르게 설계해야 합니다.

실험 설계 권한과 평가 대상이 같은 곳에 있는 구조입니다. 대행사가 실험 대상 채널, 홀드아웃 비율, 기간, 판정 지표를 모두 정하고 그 결과로 평가받는다면, 증분이 높게 나올 가능성이 큰 조건을 고르는 것이 합리적인 선택이 됩니다. 이것은 부정행위가 아니라 구조가 만드는 결과입니다.

구체적으로는 이런 형태로 나타납니다. 브랜드 검색처럼 표면 성과가 좋은 채널은 실험 대상에서 빼고, 원래 증분이 클 수밖에 없는 신규 고객 채널만 실험 대상에 올리는 선택입니다. 또는 홀드아웃을 아주 작게 잡아 결과가 유의하지 않게 나오도록 두고 "효과 없음이 확인되지 않았다"고 보고하는 방식도 가능합니다. 두 경우 모두 개별 실험은 정상적으로 수행됐지만 전체 그림은 왜곡됩니다.

설계 확정 권한은 광고주가 갖는 것이 기본입니다. 실험 대상 채널, 판정 지표, 홀드아웃 규모, 기간, 판정 기준은 광고주 승인 항목으로 두고, 대행사는 그 설계를 집행하고 분석을 실행하는 역할을 맡습니다. 대행사가 설계를 제안하는 것은 당연히 가능하지만, 확정은 승인 절차를 거쳐야 합니다.

이 구조가 작동하려면 광고주 쪽에 설계를 읽을 수 있는 사람이 있어야 합니다. 전부를 검증할 필요는 없고, 사전 설계서의 일곱 항목(가설, 지표, 집단 구성, 표본·기간, 판정 기준, 제외 규칙, 결과별 조치)이 채워져 있는지만 확인해도 대부분의 왜곡은 걸러집니다. 계정과 픽셀이 광고주 소유이며 대행사는 운영 권한만 위임받는다는 계약 조항도 함께 갖춰져 있어야, 데이터 접근이 한쪽에 묶이지 않습니다.

결과값이 아니라 절차 준수를 넣는 편이 안전합니다. 평가 항목으로 쓸 만한 것은 다음과 같습니다. ① 사전 설계서를 실험 시작 전에 제출했는가 ② 실험 기간 중 변경 이력 로그를 남겼는가 ③ 대조군 오염 방지 점검을 수행하고 결과를 문서로 냈는가 ④ 결과를 신뢰구간과 한계를 포함해 보고했는가 ⑤ 합의된 일정 안에 실험을 완료했는가.

이 항목들은 대행사가 통제할 수 있고, 월 단위로 확인 가능하며, 실험의 품질과 직접 연결됩니다. 증분 수치 자체를 목표로 걸지 않으므로 설계를 유리하게 고를 유인도 줄어듭니다. 증분 결과는 평가 대상이 아니라 예산 결정의 입력으로 위치를 옮기는 것이 이 구조의 핵심입니다.

홀드아웃을 만드는 실험은 그 기간의 총 성과를 낮춥니다. 이 상태에서 기존 매출·ROAS KPI를 그대로 적용하면 대행사는 실험에 협조할수록 손해를 보게 됩니다. 실험이 매번 미뤄지는 조직의 숨은 원인이 여기 있는 경우가 많습니다.

처리 방법은 세 가지입니다. ① 실험 기간의 성과 KPI를 홀드아웃 비율만큼 조정합니다. ② 실험 대상 채널을 KPI 산정에서 제외합니다. ③ 실험 기간을 별도 구간으로 분리해 평가합니다. 어느 방식이든 계약 문서나 운영 합의서에 미리 적어두어야 하고, 실험이 끝난 뒤에 협의하면 반드시 분쟁이 생깁니다.