웹 마스터 도구란?

Web Master Tool 이란?

Web Master Tool, 웹 마스터 도구, 본인이 운영하는 사이트가 수집이 잘되고 인덱싱이 잘되고 있는지 모니터링하고 관리할 수 있게하는 도구를 말합니다.

Naver wmt - 네이버 웹 마스터 도구, 네이버에서 제공하는 본인의 사이트의 수집, 인덱싱, 지표 등을 모니터링 및 관리 할 수 있도록 도와주는 도구. 수집, 색인, 품질 현황을 모니터링 할 수 있다.

robot.txt - 해당 웹사이트에 크롤러가 접근 했을 때 이에 대한 접근 권한을 제한하고 웹사이트의 사이트맵의 위치를 알려주는 역활을 하는 파일

Ex)  모든 로봇에 대해서 /tmp/, /junk/ 하위 폴더들은 접근 하지 못하도록 설정 

 User-agent: *

Disallow: /tmp/

Disallow: /junk/

sitemap.xml - 웹사이트 내 모든 페이지의 목록을 나열한 파일로 책의 목차와 같은 역활 수행. 쉽게 발견되기 쉽지않은 파일들도 크롤되고 색인 될수 있게 도와준다.

관련 용어 정리

Root - 어떤 사이트의 시작 주소(=entry)

Feed - 주기적으로 방문해야 하는 url. Ex) 디시인사이드의 갤러리 url의 경우 시간의 지남에 따라 내용이 계속 바뀌므로 일정 시간 마다 방문 해야함

Article - 우리가 원하는 정보가 담겨있는 글

paging 기법 - sunny 전 크롤러인 r2의 크롤링 정책. 1, 2, 3… 페이지 순서대로 다 방문함

nTicket - 얼마나 자주 해당 페이지를 방문해야하는지를 나타내는 지표. 티켓이 많을 수록 자주 방문한다. 반대로 티켓 수가 낮은데 최근에 방문했었던 페이지라면 크롤링 하지 않고 넘김

Default url 2개 - sunny가 새로운 페이지를 발견했을 때 Nami DB에 넣는 최초 2개의 url. www.호스트.com/ 과 www.호스트.com/* 

Name Rule - 특정 anchor를 nami db에 넣으면 룰에 따라 policy를 정해줌. 이 policy 중에 nTicket 등이 있음

Class - 특정 사이트를 일정 수준 이상 방문하고 가치가 있다고 인정된다면 clustering을 통해 새로운 class를 하나 만들어냄.

Class key - 특정 url에서 바뀌는 키워드. Ex) www.디씨.com?gallery={naver} 에서 {} 안의 키워드가 class key가 됨.