내 사이트의 웹문서 크롤링을 중단시키려면 어떻게 하나요

새로운 수집을 막는 기본 도구는 robots.txt입니다 — 검색 엔진 크롤러가 사이트의 어떤 페이지·파일을 요청할 수 있고 없는지 알려주는 텍스트 파일입니다. 다만 robots.txt는 크롤러에게 보내는 '제안(hint)'이라 모든 크롤러가 이를 지킨다는 보장은 없고, 민감한 콘텐츠라면 비밀번호나 noindex 메타 태그 같은 방법을 함께 써야 합니다.

여기서 흔히 오해하시는 부분이 있는데, robots.txt로 특정 경로를 막으면 검색엔진이 그 경로를 '새로' 크롤링하지 않게 될 뿐, 이미 색인된 페이지를 검색결과에서 즉시 내려주지는 않습니다. 이미 노출 중인 문서를 지우려면 별도의 삭제 절차가 필요합니다.

그래서 이미 검색결과에 노출된 문서를 지금 당장 내려야 한다면, 구글 서치 콘솔의 'URL 삭제' 도구나 네이버 서치어드바이저의 '콘텐츠 삭제 요청' 기능을 쓰면 됩니다. 다만 구글의 URL 삭제 도구는 약 6개월간의 '임시' 조치이므로, 근본적으로 재크롤링되지 않게 하려면 robots.txt 차단이나 noindex 처리를 함께 해둬야 합니다. 급한 경우엔 삭제 요청을 먼저 넣고, robots.txt로 앞으로의 재수집까지 함께 막아두는 순서로 처리하시면 됩니다.