robots.txt에 의해 차단됨 - 구글 웹마스터도구

robots.txt에 의해 차단됨

이 뜻은

내 웹사이트 내에 있는 robots.txt 명령어가

구글에서 정보를 얻는것을 차단한다는 오류입니다.

robots.txt 오류 문제에 대해서 알아봅시다.

 

robots.txt에 의해 차단됨

보통 블로그 및 웹사이트는 특정한 이유 없이는

다른사이트를 거의 차단하지 않습니다.

본인이 html작업하는도중에 실수로 구글을 차단했을 가능성도 있습니다.

하지만 이러한 실수는 거의 없습니다.

html 작업을 할줄 아시는 분이라면,

이유 없이 구글을 차단시킬 명령어를 입력할 이유도 없기 때문입니다.

삭제한 포스팅이 있는데 그것을 있다고 인식을 해서

계속 찾고, robots.txt 그것을 방해하고 차단한다고 생각할수도 있습니다.

[구글에서 없는 삭제 한 포스팅을 계속 찾고 있음]

또 하나는 웹사이트 관리자만 들어갈수 있는 주소인데

당연히 관리자(본인)만 들어갈수 있는 주소를 못 들어가게 하니깐

이것을 오류라고 착각하는 경우도 있습니다.

 

robots.txt 차단 테스트

실수로 인해서 정말로 robots.txt로 차단을 했을수도 있기 때문에

robots.txt 직접 들어가서 확인을 해보시고

그래도 이상이 없다면 오류 뜬 주소들을 색인 생성 요청을 해보세요.

일시적인 오류 or 관리자만 들어갈수 있는 페이지 or 삭제된 포스팅 or 비공개 포스팅

확률이 굉장히 높습니다.

Crawl-delay : 30 경고 오류가 하나 있는데

이건 과거에 설명한 자료 수집 지연 시간 30초의 의미를 가지고 있습니다.

구글에서 오류라고 인식할 뿐이지 전혀 문제없는 오류입니다.

[Crawl-delay : 30 설명] : https://codiyoutsu90.tistory.com/412

 

robots.txt 테스트에서 특정 오류가 발견된다면

이럴 경우는 빠르게 해결하셔야 합니다.

보통 위에 오류가 없다면

큰 오류가 아니므로 걱정하실 필요 없습니다.