여러 채널이 동시에 집행될 때 채널별 증분 기여도를 분리하는 실험 설계

여러 채널이 함께 돌면 같은 고객이 여러 채널에 노출됩니다. 라스트 터치 어트리뷰션 모델은 마지막 접점에 기여를 몰아주므로 그 이전 접점은 분석에서 무시되고, 멀티터치 모델은 규칙에 따라 나누지만 그 배분이 실제 인과를 반영한다는 보장은 없습니다. 기여 모델은 배분 규칙이지 인과 측정이 아니기 때문입니다.

실험으로 분리하려면 채널을 실제로 껐다 켜야 합니다. 여기서 제약이 생깁니다. 채널 수가 늘어날수록 필요한 실험 조건의 수가 늘고, 조건마다 충분한 표본이 필요합니다. 그래서 설계 선택은 사실상 "우리가 감당할 수 있는 조건 수는 몇 개인가"에서 시작합니다.

한 번에 한 채널씩 끄고 관측한 뒤 다시 켜고, 다음 채널로 넘어가는 방식입니다. 절차는 이렇습니다. ① 채널 우선순위를 예산 규모 순으로 정합니다. ② 각 채널마다 관측 기간과 회복 기간을 배정합니다. ③ 캘린더에 순차 배치합니다. ④ 같은 시기에 두 실험이 겹치지 않게 합니다.

장점은 각 실험이 단순하다는 것입니다. 유효한 실험은 비교 대상 사이의 변경 요소를 하나로 한정해야 한다는 원칙에 자연스럽게 맞습니다. 단점은 기간입니다. 채널이 다섯 개면 실험도 다섯 번이고, 회복 기간까지 감안하면 반년이 넘어갈 수 있습니다. 또 실험 사이에 시장 상황이 달라지면 채널 간 결과를 나란히 비교하기 어려워집니다. 이 문제는 각 실험에 같은 대조 기준(예: 동일한 대조군 지역군)을 쓰는 방식으로 일부 완화할 수 있습니다.

채널 조합별로 집단을 나누는 방식입니다. 채널 A와 B를 함께 볼 때 A만, B만, 둘 다, 둘 다 없음의 네 조건을 만들면 각 채널의 효과와 두 채널의 상호작용까지 한 번에 볼 수 있습니다.

문제는 규모입니다. 다변량 테스트에서 조합 수가 늘어날수록 각 조합에 배분되는 트래픽이 줄어 통계적으로 의미 있는 결과를 얻기 위해 훨씬 많은 볼륨이 필요해지는 것과 같은 구조입니다. 채널이 셋이면 조건은 여덟 개가 되고, 대부분의 국내 계정에서는 감당하기 어렵습니다. 그래서 요인 설계는 채널 두 개, 조건 네 개 정도까지가 현실적인 범위입니다. 지역 단위로 조건을 배정하면 사용자 단위보다 조건 수를 확보하기 쉬우므로, 요인 설계를 검토한다면 지역 단위부터 보십시오.

채널별 증분을 각각 구해 더한 값이 전체 증분과 일치하지 않는 경우가 흔합니다. 이것은 계산 오류가 아니라 상호작용입니다. 두 채널이 서로를 보완하면 합계보다 전체가 크고, 서로 겹쳐 같은 사람에게 중복 도달하면 합계보다 전체가 작습니다.

보고할 때는 이 차이를 숨기지 말고 별도 행으로 드러내는 편이 낫습니다. 채널 A 증분, 채널 B 증분, 두 값의 합, 실제 전체 증분, 그리고 차이. 다섯 줄이면 됩니다. 차이가 크게 마이너스로 나온다면 두 채널이 같은 모수를 중복해서 사고 있다는 신호이고, 그것은 예산 배분보다 타겟 설계를 먼저 손봐야 한다는 뜻입니다.

조건이 늘면 검정 횟수도 늘고, 최소 한 번 잘못된 결론을 낼 확률이 커지는 다중비교 문제가 발생합니다. 귀무가설이 전부 참이어도 α=0.05로 100번 검정하면 약 5건의 위양성이 우연히 나옵니다. 보정 방법으로 본페로니 교정, 벤저미니-호크버그 절차 등이 쓰입니다.

실무적인 대응은 두 가지입니다. 첫째, 주 가설을 하나로 못 박습니다. 나머지는 탐색적 분석으로 분류하고 결론에 넣지 않습니다. 둘째, 검정 계획을 사전 설계서에 적습니다. 어떤 비교를 몇 번 할 것인지, 보정을 적용할 것인지를 데이터를 보기 전에 정하면 위양성 위험이 크게 줄어듭니다.