MMM 도입을 검토할 때, 도입 후 결과가 흔들리면 어떤 순서로 원인을 진단해야 하나요?

먼저 모델이 예측한 매출과 실제 매출의 괴리가 커졌는지(fit 지표 악화) 확인합니다 — 베이지안 방식인 Meridian은 점추정치가 아니라 확률분포(신뢰구간)로 결과를 주므로, 신뢰구간이 갑자기 넓어졌다면 모델이 데이터를 제대로 설명하지 못하고 있다는 신호입니다.

다음은 입력 데이터의 결측·이상치 여부입니다. 매체별 지출 데이터가 누락되거나 이상치가 섞이면 애드스톡·포화 곡선 추정 자체가 왜곡됩니다. 마지막으로 가격·프로모션·경쟁사 동향·계절성 같은 비매체 변수를 모델에 포함했는지 확인해야 합니다 — 이런 변수를 빠뜨리면 그 변수가 만든 매출 변화를 특정 매체의 효과로 잘못 귀속시키는 왜곡이 발생합니다.

세 단계를 순서대로 확인하면 '매체 효율이 실제로 떨어진 것인지, 모델이 잘못 학습한 것인지'를 구분할 수 있습니다.