- 포털 사이트마다 크롤러 봇이 있는데 네이버는 Yeti
- 크롤러는 robot.txt (크롤링이 가능한지에 대한 규칙을 작성해둔 문서)를 제일 먼저 읽어서 해당 사이트가 크롤링이 가능한 것을 확인하면 해당 사이트에 관한 정보를 가져가서 포털 사이트에 전달함
- sitemap.xml: 크롤러가 좀 더 쉽게 내 사이트를 탐색할 수 있도록 도와줌!
1. 네이버 웹마스터 도구에 내 사이트 등록
https://searchadvisor.naver.com/
네이버 서치어드바이저
네이버 서치어드바이저와 함께 당신의 웹사이트를 성장시켜보세요
searchadvisor.naver.com
접속 후 웹 마스터 도구 클릭
url 입력 -> 사이트소유확인 (두가지 방법 중 하나 선택해서 서버에 업로드한 다음) -> 사이트 소유확인 재 접속하여 소유확인 클릭 => 사이트 등록 끝!
2. 검색 관련 문서 제출
내가 등록한 사이트 클릭 -> 검증 클릭 -> robot.txt 클릭 -> robot.txt 간단 생성 - 모든 검색 로봇 & 수집 허용 -> 다운로드 클릭 -> 내 프로젝트에 넣어줌
sitemap generator 검색 -> https://www.xml-sitemaps.com/
Create your Google Sitemap Online - XML Sitemaps Generator
Installable version We offer a server-side script written in PHP language that you can install on your server and create sitemap for your website. The script doesn't have the limit on number of pages included in sitemap, although server resources required
www.xml-sitemaps.com
접속 후 내 사이트 url 입력 & start 클릭 -> sitemap detail 클릭 -> 다운로드 xml! -> 다운로드한 파일 내 플젝에 넣고 서버 재기동
웹마스터도구 재접속해서 robots.txt 정보에서 수집요청 클릭
요청 탭 - 사이트맵 제출 -> url 입력 부분에 sitemap.xml 입력하고 확인 클릭!
'ETC' 카테고리의 다른 글
| Sublime text 유용한 단축키 및 단축키 설정 (0) | 2024.06.25 |
|---|---|
| RSA 암호화 적용하기 - 키 생성 및 암•복호화 (0) | 2024.06.03 |
| Git&GitHub Desktop 설치 (0) | 2023.07.14 |
| 2022 INFCON(인프콘)에 다녀왔어요! (0) | 2022.08.27 |