신뢰구간은 응답 수로 결정되므로, 응답률이 낮으면 노출 모수를 늘리거나 기간을 늘리는 두 갈래밖에 없다
신뢰수준 95%에서 표본오차는 500명일 때 ±4.4%포인트, 1,000명일 때 ±3.1%포인트다 — 잡으려는 차이보다 오차가 크면 결과가 나와도 해석할 수 없다
매체 설문은 시청자 1명당 하루 1회·주 3회, 같은 브랜드 14일 내 1회로 노출이 제한돼 응답 누적 속도에 상한이 있다
문항을 줄이면 응답 완료율이 올라가고 요구 예산도 내려간다 — 항목 수는 정확도와 맞바꾸는 값이 아니다
응답이 끝내 부족하면 결과를 유의성 판정이 아니라 방향성 참고로 격하해 보고하고, 매출 지표 실험을 병행한다
신뢰구간을 결정하는 것은 무엇인가
신뢰구간의 폭은 표본 크기가 좌우합니다. 신뢰수준 95%, 표본오차 ±5%, 응답비율 0.5를 가정할 때 필요한 표본은 약 384명이라는 계산이 표준 공식으로 알려져 있습니다. 여기서 표본오차를 절반으로 줄이려면 표본은 네 배가 필요합니다. 한국갤럽 기준으로도 신뢰수준 95%에서 표본오차는 500명 ±4.4%포인트, 1,000명 ±3.1%포인트, 2,000명 ±2.2%포인트로 제시됩니다.
이 구조가 실무에 주는 함의는 분명합니다. 인지도가 2~3%포인트 오르는 정도를 잡아내려는 스터디라면 500명 표본으로는 애초에 불가능합니다. 그러니 응답률이 낮다는 문제를 해결하기 전에, 잡으려는 차이의 크기부터 확정해야 합니다. 그 값이 정해지지 않으면 응답을 얼마나 더 모아야 하는지도 계산되지 않습니다.
매체 설문의 구조적 상한은 어디에 있나
구글 브랜드 광고 효과 측정 설문은 시청자 1명당 하루 최대 1회, 주 최대 3회까지만 노출되며 같은 제품·브랜드에 대해서는 14일 이내에 1회만 응답할 수 있습니다. 설문 승인에도 최대 48시간이 걸립니다. 즉 응답 누적 속도는 예산만으로 무한정 끌어올릴 수 없고, 도달 가능한 시청자 모수의 크기에 묶여 있습니다.
그래서 응답이 부족할 때 쓸 수 있는 실제 수단은 세 가지입니다. ① 노출 대상 모수를 넓힙니다(타겟팅을 좁게 잡았다면 그것이 원인일 수 있습니다). ② 스터디 기간을 늘립니다. ③ 측정 항목 수를 줄여 한 항목에 응답을 몰아줍니다. 세 번째가 자주 간과되는데, 구글은 설문 항목을 최대 3개까지 선택할 수 있게 하면서 질문 수에 따라 요구 예산을 다르게 제시합니다. 한국이 속한 국가군 기준으로 질문 1개짜리 스터디는 15,000달러, 질문 3개짜리는 60,000달러로 안내됩니다. 항목을 줄이는 선택은 예산과 응답 밀도를 동시에 개선합니다.
문항 설계로 응답률을 올릴 수 있나
자체 패널 조사를 병행하는 경우라면 설계로 개선할 여지가 더 큽니다. 실무에서 통용되는 원칙은 세 가지입니다. 모바일 응답 기준 5분 이내에 끝낼 수 있는 분량으로 줄이기, 무성의한 응답을 걸러낼 역문항 섞기, 주의집중 문항을 한두 개 배치하기입니다. 다만 이 항목들은 국내 리서치 실무 가이드에서 통용되는 권고이지 공식 표준은 아닙니다.
또 하나 고려할 것이 응답 편향입니다. 사회적 바람직성 편향은 응답자가 실제 생각이 아니라 사회적으로 바람직하다고 여겨지는 방향으로 답하는 현상으로, 브랜드 호감도·구매 의도 문항에서 특히 크게 작동합니다. 응답 익명성 보장, 간접 질문법, 자기기입식 조사 같은 완화 방법이 제시됩니다. 응답 수를 늘려도 편향은 줄지 않는다는 점을 기억해야 합니다. 표본을 키우면 신뢰구간은 좁아지지만, 편향된 값 주위로 좁아질 뿐입니다.
응답이 끝내 부족하면 어떻게 보고하나
이 상황에서 하지 말아야 할 것은 유의하지 않은 차이를 유의한 것처럼 쓰는 일입니다. 대신 세 단계로 보고합니다. ① 이번 스터디의 표본오차와 검출 한계를 먼저 밝힙니다. ② 관측된 차이가 그 한계 안쪽인지 바깥인지 명시합니다. ③ 한계 안쪽이라면 "방향성 참고"로 격하하고, 같은 캠페인의 매출·검색량 같은 다른 지표가 같은 방향을 가리키는지 함께 제시합니다.
표현도 주의해야 합니다. 신뢰수준 95%는 이 결과가 95% 확률로 맞다는 뜻이 아니라, 같은 방식으로 100번 조사하면 표본오차 범위 안에 참값이 포함되는 경우가 95번 정도 나온다는 반복시행 개념입니다. 이 문장을 정확히 쓰는 것만으로도 보고서의 신뢰도가 달라집니다.
다음 대안으로 무엇을 준비해야 하나
설문 기반 측정이 구조적으로 어려운 규모라면, 브랜드 지표 대신 행동 지표로 옮기는 경로를 준비해 두는 편이 낫습니다. 브랜드 검색량, 직접 유입, 재방문율처럼 캠페인 노출 이후 관측 가능한 행동 지표를 지역 단위로 비교하는 방식입니다. 이 방식은 응답률 문제에서 자유롭고, 지역 실험 설계와 함께 돌릴 수 있습니다.
자체 패널 조사를 저비용으로 병행하는 선택지도 있습니다. 오픈서베이 에이전틱 서베이는 5문항 이내 조사 시 응답 1건당 500원, 100명 기준 5만 원부터로 안내되며 19문항 이내 100명 조사는 15만 원으로 제시됩니다. 매체 설문이 요구하는 규모와는 자릿수가 다르므로, 사전·사후 흐름을 얕게라도 잡아두는 보조 수단으로 검토할 수 있습니다.
다음 행동
이번 스터디에서 잡으려는 인지도 차이를 몇 %포인트로 볼 것인지 먼저 숫자로 적고, 그 값이 500명·1,000명 표본의 오차 범위보다 큰지 대조해보세요. 작다면 지금 설계로는 결론이 나오지 않습니다.
← 이전 글 · 레슨 08 증분효과 실험 결과를 경영진에게 보고할 때 흔히 나오는 반박과 대응법
CHALLENGE
배운 걸 실전 문제로 확인
카테고리별 Level Test로 실무 레벨을 점검해보세요.