robots.txt 만들기

1. 기본 형식
User-agent: 규칙을 적용할 Agent
Disallow: 차단할 URL
Allow: 허용할 URL

URL은 대소문자를 구별한다.
정규표현식을 사용할 수 있다.

2. 예제
모든 Agent에 대해서 모든 URL의 접근을 불허
User-agent: *
Disallow: /