■ 워드프레스 사이트에서 Robots.txt를 설정하는 방법을 보여준다.
• robots.txt 파일은 웹 사이트에서 robot의 접근을 제어하는 파일이다.
• robots.txt 파일은 반드시 웹 사이트의 루트 디렉토리에 위치해야 한다.
• robots.txt 파일은 로봇 배제 표준을 따라야 한다.
▶ 로봇 배제 표준 URL
|
1 2 3 |
https://ko.wikipedia.org/wiki/로봇_배제_표준 |
[robots.txt 설정]
▶ 설정 코드
|
1 2 3 4 5 6 7 8 |
User-agent: Disallow: ※ User-agent : 규칙을 적용할 로봇 이름 ※ Disallow/Allow : 로봇에 적용할 룰의 제한/허용을 설정한다. ※ 로봇별로 다르게 설정할 수 있으며, 특정 디렉토리 혹은 파일에 대한 접근을 설정할 수 있다. |
▶ 예제 코드 1 : 모든 로봇의 접근 제한
|
1 2 3 4 5 6 7 |
User-agent: * Disallow: / ※ 모든 로봇을 대상으로 한다. ※ 루트 디렉토리 이하 모든 내용에 대한 접근을 제한한다. |
▶ 예제 코드 2 : 모든 로봇의 접근 허용
|
1 2 3 4 5 6 7 |
User-agent: * Allow: / ※ 모든 로봇을 대상으로 한다. ※ 루트 디렉토리 이하 모든 내용에 대한 접근을 허용한다. |
▶ 예제 코드 3 : 특정 로봇의 접근 제한
|
1 2 3 4 5 6 7 |
User-agent: Yeti Disallow: / ※ 네이버 로봇(Yeti)을 대상으로 한다. ※ 루트 디렉토리 이하 모든 내용에 대한 접근을 제한한다. |
▶ 예제 코드 4 : 특정 로봇의 접근 허용
|
1 2 3 4 5 6 7 |
User-agent: Yeti Allow: / ※ 네이버 로봇(Yeti)을 대상으로 한다. ※ 루트 디렉토리 이하 모든 내용에 대한 접근을 허용한다. |
▶ 예제 코드 5 : 특정 로봇의 특정 디렉토리 접근 제한
|
1 2 3 4 5 6 7 |
User-agent: Yeti Disallow: /private/ ※ 네이버 로봇(Yeti)을 대상으로 한다. ※ /private/ 디렉토리 이하 모든 내용에 대한 접근을 제한한다. |
▶ 예제 코드 6 : 특정 로봇의 특정 파일 접근 제한
|
1 2 3 4 5 6 7 |
User-agent: Yeti Disallow: /private/*.png$ ※ 네이버 로봇(Yeti)을 대상으로 한다. ※ /private/ 디렉토리 이하 .jpg 파일 확장자를 가진 파일들에 대한 접근을 제한한다. |
▶ 워드프레스 사이트 robots.txt 예제 코드
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
User-agent: * Disallow: / User-agent: Yeti Allow: /wp-content/uploads/ Disallow: /wp-admin/ Disallow: /readme.html User-agent: Daumoa Allow: /wp-content/uploads/ Disallow: /wp-admin/ Disallow: /readme.html User-agent: Googlebot Allow: /wp-content/uploads/ Disallow: /wp-admin/ Disallow: /readme.html User-agent: Bingbot Allow: /wp-content/uploads/ Disallow: /wp-admin/ Disallow: /readme.html |