증분 효과 실험의 성과를 판단할 핵심 지표와 보조 지표는 무엇인가요?

유의성 확인 없이 증분 수치만 보면 표본이 작아 우연히 벌어진 차이를 실제 효과로 오판할 수 있습니다. 성과 판단 지표는 핵심 지표(그 이니셔티브가 직접 달성하려는 목적을 보여주는 1~2개)와 보조 지표(핵심 지표를 끌어올리는 과정에서 생기는 부작용·건강도를 보여주는 지표)를 함께 봐야 합니다. 핵심 지표만 보면 단기 성과는 오르지만 이탈·피로도가 함께 악화되는 착시를 못 잡습니다.

증분 효과 실험는 특히 이 원칙이 중요합니다 — 핵심 지표만 개선하려다 보조 지표가 무너지는 사례가 흔합니다.

실험을 설계할 때 최소 표본수와 실험 기간을 사전에 계산해두면, 나중에 "차이가 우연인지 진짜 효과인지" 논쟁을 줄일 수 있습니다.