검색로봇 확인 방법

네이버 상위노출

검색로봇 확인 방법

구글상위노출 0 34 03.31 08:51

사용자를 대신하여 웹페이지를 방문하는 S/W는 자기 자신만의 이름을 User-Agent에 명시합니다. 웹 브라우저뿐만이 아니라 검색로봇도 자신만의 User-Agent를 가지고 있으며 네이버 검색로봇은 Yeti라는 이름을 사용합니다.


많은 웹사이트들은 일부 악의적인 접근을 막기 위하여 방화벽을 운영하고 있습니다. 만약 내 사이트가 수집이 안된다면 Yeti로 명시된 네이버 검색로봇이 방화벽의 정책 때문에 사이트 접근이 차단되었는지 점검해야 합니다.


네이버의 검색로봇의 구분은 User-Agent를 활용하여 구분하는 방법과 역 DNS 조회를 통한 IP로 확인하는 방법이 있습니다.


User-Agent 이름으로 확인

방화벽에서 네이버 검색로봇의 접근을 허용해주세요. 네이버 검색로봇의 이름(User-Agent)은 Yeti입니다. 숫자로 명시된 버전은 사전 예고 없이 변경될 수 있습니다.


Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/spd) 

자바스크립트 및 CSS와 같은 웹 페이지 내의 리소스를 수집하는 경우 브라우저 User-Agent 마지막에 Yeti가 추가됩니다.


Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebit/53.7.36 (KHTML, like Gecko) Chrome/63.0.3239.0 Safari/537.36 (compatible; Yeti/1.1; +http://naver.me/spd)

IP 정보로 확인

검색로봇의 접근은 일반적으로 HTTP header로 전달되는 User-Agent 정보를 이용하여 식별할 수 있습니다. 하지만 이 정보는 요청자가 임의로 넣을 수 있기 때문에, 해당 접근이 실제 네이버 검색로봇에 의한 것인지를 확인하기 위해서는 다음과 같은 방법을 사용합니다.


웹서버 로그 혹은 방화벽 접근 기록에 있는 접근자의 IP 주소에 대해 역 DNS 조회를 하여 조회된 도메인이 .naver.com으로 끝나는지 확인합니다.


위에서 얻어진 도메인에 대해서 DNS 조회를 하여 원래 IP 주소와 같은지 확인합니다.


* 예시 (리눅스)

$ host 125.209.235.169

169.235.209.125.in-addr.arpa domain name pointer crawl.125-209-235-169.web.naver.com.


$ host crawl.125-209-235-169.web.naver.com

crawl.125-209-235-169.web.naver.com has address 125.209.235.169

* 예시 (Windows, 윈도우키 + R 입력 후 cmd 실행)

C:\Users> nslookup 125.209.235.169

Server: cns1.naver.com

Address: 10.22.64.6


Name: crawl.125-209-235-169.web.naver.com

Address: 125.209.235.169


C:\Users> nslookup crawl.125-209-235-169.web.naver.com

Server: cns1.naver.com

Address: 10.22.64.6


Name: crawl.125-209-235-169.web.naver.com

Address: 125.209.235.169

Comments

분류
네이버상위노출
031-795-1984
평일 : 오전 10 ~ 오후 6시
토/일/공휴일 휴무
State
  • 현재 접속자 2 명
  • 오늘 방문자 32 명
  • 어제 방문자 22 명
  • 최대 방문자 83 명
  • 전체 방문자 2,853 명
Facebook Twitter GooglePlus KakaoStory NaverBand
용인점집     밀키트창업     브릴란테남산     신보라매두산위브     반달섬마리나큐브     평택상가     원주엔터비즈타워     루원시티 sk리더스뷰     가산 모비우스타워     태평 힐스원     루원시티 SK리더스뷰 2차     가산모비우스타워셀립     세운 푸르지오 그래비티     향동 현대테라타워     코스닥     타이마사지     밀키트     원주엔터비즈타워     왁싱     대전간판     스파     인천 자가격리 숙소     코스피     마사지     수원점집     하남 헤라팰리스