들어가며

• 완전성·정확성·적시성·일관성 네 가지 기준으로 데이터를 점검한다
• 데이터에 문제가 의심될 때 바로 보고하지 않고 먼저 확인하는 순서를 안다

상황

가상 브랜드 '한줄커피'의 담당자는 이번 달 전환율이 지난달보다 3배 뛴 것을 보고 놀랐습니다. 캠페인을 특별히 강화하지도 않았는데 갑자기 오른 게 이상해서, 곧바로 팀에 "전환율 3배 상승"이라고 공유하려다 멈췄습니다. 확인해보니 일부 기간에 이벤트 태그가 중복으로 찍혀 실제보다 부풀려진 숫자였습니다. 만약 그대로 보고했다면 다음 달 목표까지 잘못된 기준으로 잡힐 뻔했습니다.

한 줄 결론

놀랄 만큼 좋은 숫자일수록 보고하기 전에 먼저 의심해야 합니다.

실제로 좋아진 것과 측정이 잘못된 것은 화면에서 똑같이 보입니다. 차이는 그 숫자가 완전성·정확성·적시성·일관성이라는 네 가지 조건을 통과하는지 확인해봐야 드러납니다.

개념

• 완전성: 봐야 할 기간·채널·이벤트가 빠짐없이 수집됐는지입니다. 특정 페이지의 태그가 빠지면 실제보다 적게 잡힙니다.
• 정확성: 같은 행동이 중복으로 찍히거나 다른 행동과 섞이지 않았는지입니다. 새로고침으로 이벤트가 중복 발생하는 경우가 흔합니다.
• 적시성: 데이터가 판단이 필요한 시점에 맞춰 들어오는지입니다. 며칠 지연되는 데이터로 오늘 판단을 내리면 어긋납니다.
• 일관성: 지난달과 이번 달의 측정 기준이 같은지입니다. 중간에 이벤트 이름이나 집계 방식이 바뀌면 비교 자체가 무의미해집니다.
• 이상치: 평소와 크게 다른 값으로, 실제 변화일 수도 있고 측정 오류일 수도 있어 원인을 확인하기 전엔 결론을 내리지 않는 값입니다.

판단 기준

실행 순서

1. 확인: 보고 전 숫자를 네 가지 조건표에 하나씩 대입해 통과 여부를 표시한다.
2. 결정: 하나라도 통과하지 못하면 보고를 미루고, 그 조건과 관련된 원인부터 점검한다.
3. 기록: 확인한 결과와 남은 의심 지점을 메모로 남겨, 다음에 같은 숫자를 다시 확인할 필요가 없게 한다.

바로 쓰는 템플릿

데이터 신뢰성 점검표

• 점검 대상 숫자: ________________________
• 완전성 (빠짐없이 수집됐는가): ☐ 통과 ☐ 미통과 — 사유: ________
• 정확성 (중복·오류 없는가): ☐ 통과 ☐ 미통과 — 사유: ________
• 적시성 (판단 시점에 맞는가): ☐ 통과 ☐ 미통과 — 사유: ________
• 일관성 (기준이 지난 기간과 같은가): ☐ 통과 ☐ 미통과 — 사유: ________
• 보고 가능 여부: ☐ 지금 보고 ☐ 원인 확인 후 보고

즉시 확인

1. 전환율이 갑자기 3배로 뛴 것을 봤을 때 가장 먼저 할 일은? 정답: 곧바로 보고하지 않고 네 가지 조건으로 확인해본다 — 좋은 숫자일수록 측정 오류 가능성을 먼저 의심해야 합니다.
2. 이벤트 이름이 새로고침 때마다 중복으로 찍히는 문제는 어느 조건에 해당하나요? 정답: 정확성 — 같은 행동이 중복 집계된 경우입니다.
3. 지난달과 이번 달의 집계 방식이 다르면 비교가 어려운 이유는? 정답: 일관성이 깨졌기 때문 — 기준이 다르면 숫자 차이가 실제 변화인지 기준 차이인지 구분할 수 없습니다.

핵심 정리

1. 놀랄 만큼 좋은 숫자일수록 보고 전에 먼저 의심하고 확인한다
2. 완전성·정확성·적시성·일관성 네 가지 조건으로 데이터를 점검한다
3. 조건을 통과하지 못하면 원인을 확인한 뒤에 보고한다

→ 이 강의 퀴즈 풀어보기 (챌린지)