코호트(Cohort) 및 리텐션(Retention) 분석: 유입 매체별(구글 UAC vs 메타 앱 광고) 유저의 설치 후 7일/30일 앱 유지율 성적표 비교

전체 사용자를 뭉뚱그려 "이번 달 리텐션이 몇 %였다"고 보는 것과, 설치일 기준으로 나눈 코호트별로 "1월 1일 설치한 사용자들의 7일 리텐션은 몇 %, 1월 8일 설치한 사용자들은 몇 %"로 나눠 보는 것은 전혀 다른 정보를 줍니다. 코호트는 같은 시점에 유입된 사용자 그룹을 하나의 단위로 묶어, 그 그룹이 시간이 지나면서 어떻게 행동이 변하는지(계속 쓰는지, 이탈하는지)를 추적하는 분석 방식입니다.

이 방식이 중요한 이유는, 특정 시점에 캠페인 소재를 바꾸거나 타겟팅을 조정했을 때 그 변화가 사용자 품질에 실제로 어떤 영향을 줬는지를 코호트 단위로 나눠봐야 정확히 확인할 수 있기 때문입니다. 전체 평균만 보면 이런 변화의 효과가 다른 시기의 데이터에 섞여 흐려집니다.

리텐션은 특정 코호트(설치일 기준 그룹) 중에서, 설치 후 지정된 일수(1일, 7일, 30일 등)가 지난 시점에도 여전히 앱을 실행하는 사용자의 비율입니다. 예를 들어 1월 1일에 앱을 설치한 사용자 1,000명 중 1월 8일에도 앱을 실행한 사용자가 150명이라면, 이 코호트의 7일 리텐션은 15%입니다.

이 계산의 기초가 되는 데이터는 4강에서 다룬 af_app_open 인앱 이벤트입니다. 사용자가 앱을 다시 열 때마다 이 이벤트가 발생하기 때문에, MMP는 특정 코호트의 사용자들이 지정된 일수 이후에도 이 이벤트를 발생시켰는지를 집계해 리텐션 비율을 산출합니다. af_app_open 이벤트가 정확히 세팅돼 있지 않으면 리텐션 분석 자체가 부정확해지므로, 이 이벤트의 정확한 연동이 코호트 분석의 전제 조건입니다.

구글 UAC와 메타 앱 광고 두 캠페인의 설치당 비용(CPI)이 똑같이 나왔다고 해서 두 매체의 실질적인 사용자 획득 효율이 같다고 볼 수는 없습니다. 만약 구글 UAC로 유입된 사용자의 7일 리텐션이 20%이고 메타로 유입된 사용자의 7일 리텐션이 10%라면, 구글 UAC 쪽이 같은 비용으로 훨씬 더 오래 남는 사용자를 데려온 셈이라 실질적인 사용자 획득 비용(리텐션까지 감안한 비용)은 메타보다 낮은 것입니다.

이 차이를 무시하고 CPI만으로 매체 예산을 배분하면, 설치는 저렴하지만 금방 이탈하는 저품질 사용자를 대량으로 데려오는 매체에 예산이 계속 쏠리는 결과로 이어질 수 있습니다. 코호트·리텐션 분석은 이런 착시를 막고, 진짜로 '남는' 사용자를 데려오는 매체를 가려내는 역할을 합니다.

7일 리텐션만으로는 초기 반짝 관심을 끄는 데는 성공했지만 장기적으로는 이탈하는 사용자를 걸러내지 못할 수 있습니다. 30일 리텐션까지 함께 확인하면, 단기적으로는 비슷해 보였던 두 매체의 사용자 품질이 시간이 지나면서 크게 벌어지는 경우를 발견할 수 있습니다. 특히 구독형 서비스나 장기 관여가 필요한 앱이라면, 7일 시점의 숫자만으로 매체 예산을 확정하기보다 30일 이상의 데이터를 확보한 뒤 판단하는 것이 더 안전합니다.

다만 30일 리텐션 데이터를 확보하려면 최소 한 달 이상의 캠페인 운영 기간이 필요하기 때문에, 신규 캠페인 초기에는 7일 리텐션으로 먼저 대략적인 방향을 잡고, 30일 데이터가 쌓이는 대로 최종 예산 배분을 재조정하는 단계적 접근이 실무에서 흔히 쓰입니다.

코호트별 리텐션 차이가 발견되면, 그 원인을 매체 자체의 차이인지 아니면 매체 안에서도 특정 캠페인·소재·타겟팅의 차이인지 더 세분화해서 살펴봐야 합니다. 같은 매체 안에서도 소재를 바꾼 시점 전후로 코호트를 나눠 비교하면, 어떤 소재가 오래 남는 사용자를 데려왔는지 구체적으로 확인할 수 있습니다. 이 인사이트를 바탕으로 저품질 사용자를 데려오는 소재·타겟팅은 중단하고, 리텐션이 좋은 소재·타겟팅에 예산을 재배분하는 것이 코호트 분석을 실전 의사결정으로 연결하는 방법입니다.

특정 매체·캠페인의 일별 설치수가 적으면, 그 코호트의 리텐션 비율은 소수의 사용자 행동에 따라 크게 출렁일 수 있습니다. 예를 들어 하루 설치 10명인 코호트에서 2명만 이탈해도 리텐션이 20%포인트 흔들리는 것과, 하루 설치 1,000명인 코호트에서 200명이 이탈하는 것은 같은 20%포인트 변화라도 신뢰도가 전혀 다릅니다. 코호트 크기가 작은 상태에서 나온 리텐션 숫자로 성급하게 예산을 재배분하면, 실제로는 우연에 가까운 변동을 근거로 잘못된 결정을 내릴 위험이 있습니다.

이 문제를 피하려면 개별 일자 단위 코호트 대신 주 단위·월 단위로 코호트를 묶어 표본 크기를 키우거나, 최소 표본 수 기준(예: 코호트당 설치 100건 이상)을 정해두고 그 기준을 넘는 코호트만 의사결정에 반영하는 방식이 실무에서 흔히 쓰입니다.