검색로봇 확인 방법

네이버 상위노출

검색로봇 확인 방법

구글상위노출 0 893 2021.03.31 08:51

사용자를 대신하여 웹페이지를 방문하는 S/W는 자기 자신만의 이름을 User-Agent에 명시합니다. 웹 브라우저뿐만이 아니라 검색로봇도 자신만의 User-Agent를 가지고 있으며 네이버 검색로봇은 Yeti라는 이름을 사용합니다.


많은 웹사이트들은 일부 악의적인 접근을 막기 위하여 방화벽을 운영하고 있습니다. 만약 내 사이트가 수집이 안된다면 Yeti로 명시된 네이버 검색로봇이 방화벽의 정책 때문에 사이트 접근이 차단되었는지 점검해야 합니다.


네이버의 검색로봇의 구분은 User-Agent를 활용하여 구분하는 방법과 역 DNS 조회를 통한 IP로 확인하는 방법이 있습니다.


User-Agent 이름으로 확인

방화벽에서 네이버 검색로봇의 접근을 허용해주세요. 네이버 검색로봇의 이름(User-Agent)은 Yeti입니다. 숫자로 명시된 버전은 사전 예고 없이 변경될 수 있습니다.


Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/spd) 

자바스크립트 및 CSS와 같은 웹 페이지 내의 리소스를 수집하는 경우 브라우저 User-Agent 마지막에 Yeti가 추가됩니다.


Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebit/53.7.36 (KHTML, like Gecko) Chrome/63.0.3239.0 Safari/537.36 (compatible; Yeti/1.1; +http://naver.me/spd)

IP 정보로 확인

검색로봇의 접근은 일반적으로 HTTP header로 전달되는 User-Agent 정보를 이용하여 식별할 수 있습니다. 하지만 이 정보는 요청자가 임의로 넣을 수 있기 때문에, 해당 접근이 실제 네이버 검색로봇에 의한 것인지를 확인하기 위해서는 다음과 같은 방법을 사용합니다.


웹서버 로그 혹은 방화벽 접근 기록에 있는 접근자의 IP 주소에 대해 역 DNS 조회를 하여 조회된 도메인이 .naver.com으로 끝나는지 확인합니다.


위에서 얻어진 도메인에 대해서 DNS 조회를 하여 원래 IP 주소와 같은지 확인합니다.


* 예시 (리눅스)

$ host 125.209.235.169

169.235.209.125.in-addr.arpa domain name pointer crawl.125-209-235-169.web.naver.com.


$ host crawl.125-209-235-169.web.naver.com

crawl.125-209-235-169.web.naver.com has address 125.209.235.169

* 예시 (Windows, 윈도우키 + R 입력 후 cmd 실행)

C:\Users> nslookup 125.209.235.169

Server: cns1.naver.com

Address: 10.22.64.6


Name: crawl.125-209-235-169.web.naver.com

Address: 125.209.235.169


C:\Users> nslookup crawl.125-209-235-169.web.naver.com

Server: cns1.naver.com

Address: 10.22.64.6


Name: crawl.125-209-235-169.web.naver.com

Address: 125.209.235.169

Comments

번호 분류 제목 글쓴이 날짜 조회
4 웹사이트상위노출 채용정보 구글상위노출 2021.04.01 856
3 웹사이트상위노출 사이트 연관 채널 구글상위노출 2021.04.01 1061
2 웹사이트상위노출 구조화된 데이터 소개 구글상위노출 2021.04.01 861
1 웹사이트상위노출 콘텐츠 노출 및 클릭 구글상위노출 2021.04.01 950
0 웹사이트상위노출 수집 및 색인 현황 구글상위노출 2021.04.01 1031
-1 웹사이트상위노출 사이트 최적화 구글상위노출 2021.04.01 1026
-2 웹사이트상위노출 사이트 간단 체크 구글상위노출 2021.04.01 1010
-3 웹사이트상위노출 RSS 및 사이트맵 제출 구글상위노출 2021.04.01 1061
-4 웹사이트상위노출 네이버 수집요청 및 검색제외 구글상위노출 2021.04.01 987
-5 웹사이트상위노출 파비콘 (Favicon) 구글상위노출 2021.03.31 1013
-6 웹사이트상위노출 모바일 사용성 구글상위노출 2021.03.31 1059
-7 웹사이트상위노출 콘텐츠 마크업 구글상위노출 2021.03.31 1002
-8 웹사이트상위노출 선호 URL 및 로봇 메타 태그 구글상위노출 2021.03.31 1489
-9 웹사이트상위노출 HTML 마크업 소개 구글상위노출 2021.03.31 988
-10 웹사이트상위노출 콘텐츠 작성시 권장 사항 구글상위노출 2021.03.31 1086
분류
네이버상위노출
031-795-1984
평일 : 오전 10 ~ 오후 6시
토/일/공휴일 휴무
State
  • 현재 접속자 5 명
  • 오늘 방문자 42 명
  • 어제 방문자 141 명
  • 최대 방문자 296 명
  • 전체 방문자 28,699 명
Facebook Twitter GooglePlus KakaoStory NaverBand