구글 서치콘솔 적용범위 문제 해결하는 방법(크롤링 오류)

티스토리 블로그를 운영하면서 자신의 블로그를 다른 웹페이지에서도 노출이 될 수 있도록 자신의 블로그를 등록합니다. 구글은 '구글 서치 콘솔'을 통해 자신의 웹페이지를 등록하고 사이트맵과 RSS를 제출하여 구글이 나의 블로그의 글을 읽어가도록 합니다.

하지만 지메을을 등록하면 가끔 구글 서치 콘솔로부터 위 이미지와 같은 이메일을 종종 받게 됩니다. 이메일의 내용은 사이트의 적용 범위 문제가 해결되지 않았고 이 문제는 '제출된 URL을 찾을 수 없습니다.(404)'이다.

URL을 찾을 수없는 문제가 발생하는 이유는 간단하다. 블로그에 올린 글이나 카테고리를 삭제하였기 때문이다. 구글 서치 콘솔에 등록한 RSS와 사이트맵에는 카테고리나 내가 올린 글이 포함되어 있고 구글에 제출 후에도 RSS를 통해 계속해서 구글이 내 글을 읽어 가는데 내가 그 글을 삭제하면 구글은 URL을 찾을 수 없게 되는 것이다.

이런 문제가 자주 발생하기 때문에 이를 해결하는 방법도 알아두는 것이 좋다. 

이메일에 온 문제 세부정보를 클릭하면 적용범위 문제를 확인 할 수 있는데 위 이미지는 문제를 일으킨 URL이다. 이 URL을 가진 글을 삭제하였기 때문에 이와같은 문제가 생겨 구글로 부터 이메일을 받게 된 것이다.

 

구글 서치 콘솔의 크롤링 문제를 확인하기 위해서는 내가 삭제한 글이나 카테고리의 URL을 구글로부터 삭제요청을 하면 된다. 한마디로 구글이 삭제한 글을 찾지 못하도록 요청하는 것이다. 구글 서치 콘솔에 접속하여 좌측 하단에 '이전 버전으로 이동'을 클릭하여 이전 버전에 구글 서치 콘솔도 이동하거나 이곳을 클릭하여 우측에 이미지와 같은 페이지로 이동한다. 이전 버전의 구글 서치 콘솔에서는 구글 색인→URL 삭제를 클릭하고 일시적으로 숨기기를 클릭하여 문제가 있는 URL을 입력하고 계속을 클릭한다. 그러면 다음 화면으로 이동하게 되는데 기본적으로 선택이 되어 있는 캐시에서 URL와 유사 URL을 모두 삭제 요청을 하면 된다. 우측에 오래된 콘텐츠 삭제에서도 동일한 방법으로 진행하면 된다.

이렇게 삭제 요청을 하고 하루 정도가 지나 다시 접속을 하면 URL이 보류됨에서 '삭제됨'으로 바뀌게 된다. 그럼 이때 적용범위 문제에 들어가서 유효성 검사를 재요청하면 된다. 그리고 어느 정도 시간이 지나면 문제가 해결되었다는 이메일을 받게 될 것이다.