12CODE
← 아카데미 academy 25강. AI로 만든 소재, 성과를 어떻게 판단할 것인가 예상 7분

들어가며

검수를 통과한 다음의 진짜 질문

지금까지 스무 강이 넘게 카피와 이미지를 만들고 검수하는 방법을 다뤘습니다. 이제 그 소재는 실제로 세상에 나갈 준비가 됐습니다. 그런데 여기서 흔히 놓치는 질문이 하나 있습니다. "이 소재, 정말 잘 만든 게 맞나요?"

이 질문에 대한 답은 검수 통과 여부로 나오지 않습니다. 검수는 "내보내도 안전한가"를 판단하는 절차였고, 지금부터는 "내보냈더니 실제로 효과가 있었나"를 판단하는 절차로 넘어가는 겁니다. 이 둘을 헷갈리면 "검수를 다 통과했으니 좋은 카피다"라는 착각에 빠지기 쉽습니다.

"AI가 만들었다"는 판단 기준이 될 수 없다

모듈 7을 시작하며 가장 먼저 정리하고 싶은 원칙이 있습니다. AI가 만든 소재인지 사람이 만든 소재인지는, 고객에게 노출된 순간부터는 아무 의미가 없습니다. 고객은 그 광고를 누가 만들었는지 모르고, 관심이 있는 것도 아닙니다. 고객은 그 문구가 자기 상황에 와닿는지, 클릭할 만한지, 산 뒤에 만족스러운지만 봅니다.

그래서 "이건 AI가 만든 거니까 못 미더워", "저건 우리 팀이 공들여 쓴 거니까 분명 좋을 거야" 같은 판단은 근거가 없습니다. 실제로 성과가 갈리는 지점은 만든 주체가 아니라, 그 소재가 목표 고객의 상황과 얼마나 정확히 맞아떨어지는가입니다. AI로 만든 소재가 사람이 쓴 카피보다 클릭률이 더 높게 나오는 경우도 흔하고, 그 반대도 흔합니다.

이 원칙이 중요한 이유는 실전에서 실제로 자주 벌어지는 오류 때문입니다. AI 초안이 잘 안 나왔을 때 "역시 AI로는 한계가 있다"고 결론짓거나, 반대로 AI 초안이 잘 나왔을 때 "이제 사람이 카피 쓸 필요 없다"고 결론짓는 것 모두 성급합니다. 판단은 언제나 결과 데이터로 해야 합니다.

KPI는 "AI 초안이 쓸 만한지 가리는 기준"이다

이 과정에서 KPI(핵심 성과 지표)는 거창한 경영 지표가 아니라, 더 실용적인 역할을 합니다. 바로 "이 AI 초안을 그대로 써도 되는지, 다시 프롬프트를 고쳐야 하는지"를 가려내는 잣대입니다.

예를 들어 클릭률이 낮게 나왔다면, 그건 "AI가 별로다"가 아니라 "이 프롬프트가 뽑아낸 이 카피의 이 부분이 고객에게 안 먹혔다"는 구체적인 신호입니다. 이 신호를 27강에서 다시 프롬프트 개선으로 연결할 겁니다. 즉 KPI를 보는 목적은 점수를 매기는 게 아니라, 다음 프롬프트를 어떻게 고칠지 힌트를 얻는 데 있습니다.

채널·목적별 대표 KPI

모든 소재에 같은 KPI를 적용할 필요는 없습니다. 소재의 목적에 따라 봐야 할 숫자가 다릅니다.

소재 목적 대표 KPI 이 지표가 알려주는 것
광고 클릭 유도 클릭률(CTR) 카피·썸네일이 눈길을 끌었는가
상세페이지 유입 후 구매 전환율(CVR) 클릭 이후 실제 행동으로 이어졌는가
콘텐츠형 게시물(블로그·SNS) 체류시간, 평균 조회 시간 끝까지 읽을 만큼 내용이 매력적이었는가
브랜드 인지 확산 도달·공유·저장 수 다른 사람에게 전달할 만큼 공감을 샀는가
리드 수집(문의·상담 신청) 폼 제출률 신뢰를 줘 행동까지 이어졌는가

한 소재에 KPI를 너무 많이 걸면 무엇을 개선해야 할지 흐려집니다. 소재 목적에 맞는 KPI 1~2개만 우선순위로 정하고, 나머지는 참고용으로만 보는 걸 권합니다.

예시: 두 종류 카피의 KPI 비교

가상의 반려동물 용품 브랜드 '포포하우스'가 같은 신제품 사료 광고를 두 가지 버전으로 냈다고 가정하겠습니다.

여기서 "AI가 만든 A가 별로였다"고 결론짓기보다, "구체적인 상황 묘사(밥그릇 앞에서 망설이는 모습)가 있는 카피가 클릭률이 더 높았다"는 패턴으로 읽는 게 맞습니다. 이 패턴을 27강에서 다룰 프롬프트 개선에 반영하면, 다음 AI 초안 요청 때 "반려동물이 실제로 겪는 구체적 상황을 묘사해줘"라는 지시를 추가할 수 있습니다.

실무 산출물: 우리 소재에 맞는 판단 KPI 선정

[판단 KPI 선정표]

1. 이번에 검수 완료한 소재
- 소재명/제목:
- 소재 목적(광고 클릭 / 구매 전환 / 콘텐츠 체류 / 브랜드 확산 / 리드 수집 중 선택):

2. 우선순위 KPI (1\~2개만)
- 1순위 KPI:            / 목표 수치 또는 비교 기준:
- 2순위 KPI(선택):      / 목표 수치 또는 비교 기준:

3. 참고용으로만 볼 지표 (판단에는 쓰지 않음)
-
-

4. 데이터 확인 방법
- 어디서 확인하나(광고 관리자, 애널리틱스, 채널 자체 통계 등):
- 언제 확인하나(발행 후 며칠 뒤):

5. 이 KPI로 무엇을 결정할 것인가
- 목표치 이상: (예: 이 프롬프트 패턴 유지)
- 목표치 미달: (예: 27강 방식으로 프롬프트 재검토)

이렇게 KPI를 미리 정해두면, 26강에서 만들 A/B 테스트에서 "어떤 지표로 승패를 가릴지"가 이미 준비된 상태로 시작할 수 있습니다.

즉시 확인

  1. "AI가 만든 소재라서 성과가 낮았다"는 판단이 성급한 이유는 무엇인가요?
  2. 이 과정에서 KPI를 확인하는 실질적인 목적은 무엇인가요?
  3. 콘텐츠형 게시물(블로그·SNS)의 성과를 볼 때 대표적으로 확인할 지표는 무엇인가요?

정답·해설

  1. 성과를 가르는 것은 만든 주체가 아니라 소재가 목표 고객 상황과 맞아떨어지는 정도이므로, "AI라서"라는 판단은 근거가 없습니다.
  2. 점수를 매기기 위해서가 아니라, 다음 프롬프트를 어떻게 고칠지 구체적인 힌트를 얻기 위해서입니다.
  3. 체류시간, 평균 조회 시간처럼 끝까지 읽을 만큼 매력적이었는지를 보여주는 지표입니다.

다음 레슨

A/B 테스트 설계: AI 초안 vs 사람 카피 비교하기에서 변수를 하나만 바꾸는 최소 A/B 테스트 설계 원칙을 다룹니다.

핵심 정리

  1. 소재의 성과는 만든 주체(AI인지 사람인지)가 아니라 목표 고객 상황과의 적합도로 갈리므로, 판단은 항상 결과 데이터로 합니다.
  2. KPI는 점수를 매기는 잣대가 아니라 다음 프롬프트를 어떻게 고칠지 알려주는 힌트로 활용합니다.
  3. 소재 목적에 맞는 KPI 1~2개만 우선순위로 정하고 나머지는 참고용으로 두어야 개선 방향이 흐려지지 않습니다.

→ 이 강의 퀴즈 풀어보기 (챌린지)