캠페인 종료 후 회고(포스트모템)에서 반드시 남겨야 할 5가지 항목

스프린트 회고(레트로스펙티브)는 지난 스프린트에서 잘 됐던 점, 개선이 필요했던 점, 다음 스프린트에 실행할 구체적 개선 방안을 팀원들이 함께 논의·기록하는 방식으로 진행되며, 합의된 실행 가능한 개선 조치 목록을 도출하는 것이 핵심 산출물로 꼽힙니다. 이 틀은 광고 캠페인 회고에도 뼈대로 쓸 수 있지만, 애자일 소프트웨어 개발 스프린트에서 정립된 방법론이라 캠페인 도메인에 그대로 옮기면 빠지는 항목이 생깁니다. 캠페인 고유의 항목(가설 적중 여부, 예산 대비 성과, 광고주 커뮤니케이션 이슈 등)을 추가해야 한다는 점이 이 틀을 응용할 때 유의할 부분입니다. 이를 반영해 캠페인 포스트모템에 반드시 남길 5가지 항목을 아래처럼 정리할 수 있습니다.

애자일 회고 틀에서 그대로 가져오되, "왜 잘됐는가"까지 남겨야 재현할 수 있습니다. 단순히 "CTR이 좋았다"가 아니라 "소재 B안이 상세페이지 콘텐츠와 검색 의도가 잘 맞아 확장검색 노출 품질이 올라갔다"처럼 원인까지 적어야 다음 캠페인에서 같은 조건을 재현할 수 있습니다.

문제 발생 자체보다 "왜 더 빨리 못 잡았는가"를 짚어야 합니다. 주간 리포트에서 이상 신호를 놓쳤다면 그 시점을 특정하고, 원인이 리포트 설계였는지 담당자 판단이었는지 구분해 기록합니다.

캠페인 시작 시 세운 가설이 실제로 맞았는지를 별도 항목으로 남겨야 합니다. 좋은 가설은 "무엇을 바꾸면 왜 어떤 지표가 얼마나 바뀔 것이다"라는 구체적 형태로 세워야 검증 성공·실패를 판정할 기준이 생깁니다. 회고 시점에는 이 가설 문장을 다시 꺼내, 실제 결과와 나란히 놓고 적중했는지, 방향은 맞았지만 크기가 달랐는지, 완전히 빗나갔는지를 구분해 기록합니다. 이 기록이 쌓이면 팀 전체의 가설 설계 실력이 데이터로 검증됩니다.

캠페인 도중 예기치 못한 외부 변수(대형 이슈, 포털 메인 노출, 프로모션 등)로 트래픽 패턴이 급변하면 실험·성과 결과가 오염될 수 있으며, 이런 경우 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적인 대응입니다. 회고에서는 이런 오염 구간이 있었는지, 있었다면 최종 성과 평가에서 어떻게 처리했는지(제외/보정/그대로 반영)를 명시해야 합니다. 이 기록이 없으면 다음 담당자가 같은 시기의 데이터를 아무 의심 없이 벤치마크로 재사용하는 위험이 생깁니다.

항목 3을 채울 때 흔히 저지르는 실수가 "숫자가 조금 올랐으니 가설이 맞았다"고 단정하는 것입니다. 통계적 유의성은 성과 차이가 우연이 아니라 실제 효과에 의한 것일 확률을 나타내며, 관행적으로 p-value 0.05 미만을 '통계적으로 유의미하다'고 보는 기준이 널리 쓰입니다. 다만 이 0.05라는 기준값 자체는 관행이지 절대적 진리는 아닙니다. 구글 애즈는 1-p값으로 계산되는 '신뢰도'로 유의성을 표현하며 50% 이상을 기본 기준으로 보되, 더 확실한 결론을 원하면 90% 이상을 목표로 삼습니다. 회고에서 가설 적중 여부를 적을 때는 이 신뢰도 수치까지 함께 남겨야, 다음 캠페인에서 "이번엔 표본이 작아 신뢰도가 낮았다"처럼 판단의 질 자체를 개선할 수 있습니다.

애자일 회고의 세 번째 항목과 동일하게, 회고에서 나온 인사이트는 반드시 담당자와 기한이 붙은 실행 항목으로 전환해야 합니다. "다음엔 더 잘하자"는 문장은 회고 산출물이 아닙니다. "다음 캠페인 소재 기획 단계에서 김OO이 상세페이지 검색 의도 분석을 먼저 진행한다(마감: 착수 D-7)"처럼 담당자·기한·행동이 모두 들어간 문장이어야 실제로 실행됩니다.

1. 잘된 점 + 원인
2. 개선 필요 점 + 놓친 시점
3. 가설 적중 여부 (가설 원문 / 실제 결과 / 적중·부분적중·불일치)
4. 예산 대비 성과 + 데이터 오염 구간 처리 방식
5. 다음 조치 (담당자 / 기한 / 행동)