robots.txt 생성 및 검색로봇 접근 제어하기
홈페이지를 개설하면 트래픽을 늘리기 위해 검색 엔진(네이버, 구글 등)에 홈페이지를 등록합니다. 이런 검색 엔진들은 자체적인 검색 엔진 도구가 있는데, 네이버는 서치 어드바이저이고 구글은 서치 콘솔입니다. 이 중 서치 어드바이저는 몇 가지 지표로 검색 엔진에 최적화되어 있는지 아닌지를 알려줍니다. 위 서치어드바이저 리포트 캡쳐 화면은 제가 아무것도 모르고 일단 생성한 웹페이지를 등록해서 나온 결과입니다. 다시 봐도 처참하네요 ;( 서치 어드바이저에 최적화하기 위해서 제가 노력한 것들을 공유하고자 포스팅을 작성하게 되었습니다. 제일 처음으로 리포트의 상단에 있는 검색 로봇 수집의 robots.txt와 로봇 메타 태그, 수집 현황을 개선한 방법을 정리했습니다. robots.txt 생성하기 네이버의 검색엔진 ..
major/Web
2021. 3. 22.
