26강에서 설계한 A/B 테스트가 끝나면 승자와 패자가 숫자로 나옵니다. 그런데 여기서 멈추면 이 테스트는 "이번 한 건에 어떤 카피가 나았다"는 정보로만 끝납니다. 이 과정의 진짜 목적은 그다음입니다. 왜 그 카피가 더 나았는지를 프롬프트 언어로 번역해서, 다음번 AI 초안 요청부터 더 나은 결과가 나오게 만드는 것입니다.
이 번역 작업을 하지 않으면 매번 같은 실수를 반복하는 AI 초안을 받게 되고, 매번 사람이 처음부터 다시 다듬어야 합니다. 반대로 이 번역을 꾸준히 쌓으면, 우리 팀의 프롬프트는 점점 우리 브랜드와 고객에 맞게 진화합니다.
결과를 해석할 때는 "무엇이 이겼나"에서 멈추지 말고 "왜 이겼을까"까지 한 단계 더 들어가야 합니다. 이때 유용한 질문은 다음과 같습니다.
26강 예시로 돌아가면, 집밥한상의 B안("퇴근하고 밥할 힘도 없는 날, 반찬 4가지가 문 앞에 와 있다면 어떨까요?")이 A안보다 클릭률이 높았다고 가정하겠습니다. 여기서 이긴 요소는 "퇴근 후 지친 상황을 구체적으로 묘사"하고 "질문형으로 끝맺어 상상하게 만든" 두 가지로 읽을 수 있습니다.
이제 이 이유를 다음 프롬프트에 반영합니다.
이렇게 구체적으로 지시를 추가하면, 다음번 AI 초안부터는 이전에 이겼던 패턴이 기본값으로 반영된 채 나옵니다. 매번 사람이 같은 방향으로 새로 다듬을 필요가 줄어드는 것이 이 루프의 실질적인 효과입니다.
이긴 이유만큼 진 이유도 중요합니다. A안이 왜 밀렸는지도 구체적으로 적어두면, 나중에 비슷한 프롬프트를 쓸 때 같은 실수를 피할 수 있습니다. 예를 들어 A안이 밀린 이유가 "일반적이고 추상적인 표현에 머물렀다"라면, 다음 프롬프트에 "일반적인 표현(건강한, 편리한, 든든한) 대신 구체적인 상황을 묘사해줘"처럼 피할 표현을 명시하는 지시를 추가할 수 있습니다.
한 번의 테스트로 "질문형 문장이 항상 이긴다"고 단정하지 않는 것이 중요합니다. 다른 소재, 다른 타겟에서는 반대 결과가 나올 수도 있습니다. 그래서 프롬프트 개선 이력에는 "이 패턴이 이겼다"뿐 아니라 "어떤 소재·타겟 조건에서 이겼는지"까지 함께 남겨야, 나중에 이 이력이 실제로 재사용 가능한 자산이 됩니다. 조건 없이 "질문형이 좋다"만 남기면 다음 담당자가 맞지 않는 상황에도 그대로 적용해 오히려 성과를 해칠 수 있습니다.
[프롬프트 개선 이력]
이력 번호: 작성일:
1. 테스트 개요
- 소재/캠페인명:
- A안(AI 초안):
- B안(사람이 다듬은 버전 또는 다른 프롬프트 결과):
- 판단 KPI 및 결과: A안( ) vs B안( )
2. 승자와 이유
- 이긴 안:
- 이긴 요소(구체적 상황 묘사/숫자/질문형 문장/기타):
- 이 요소가 통한 조건(타겟, 소재 목적, 채널):
3. 패자와 이유
- 진 안:
- 진 이유(일반적 표현/근거 부족/톤 불일치/기타):
4. 프롬프트 개선 내용
- 기존 프롬프트:
- 개선된 프롬프트:
- 추가/삭제한 지시 문구:
5. 다음 테스트 계획
- 이 개선된 프롬프트로 다음에 테스트할 소재:
- 확인하고 싶은 것:
이 이력이 5건, 10건 쌓이면 "우리 브랜드 프롬프트에는 이런 지시를 넣으면 대체로 잘 나온다"는 패턴표로 발전시킬 수 있습니다. 이건 다음 담당자가 새로 합류했을 때 처음부터 시행착오를 겪지 않도록 물려줄 수 있는 실질적인 자산이 됩니다.
대량 생성이 필요할 때: 배치 프롬프트와 워크플로우 자동화에서 소재를 수십 개 단위로 뽑아야 할 때 프롬프트를 일괄 처리하는 방법을 다룹니다.