robots.txt 생성기 - 크롤러 설정 파일 생성

사용 방법

1. User-agent 입력（기본값 *은 모든 크롤러 대상）
2. 크롤링을 금지할 경로를 한 줄씩 입력
3. 허용할 경로를 한 줄씩 입력（선택 사항）
4. 다운로드 버튼으로 robots.txt 파일 취득

FAQ

robots.txt란 무엇인가요?

검색 엔진 크롤러에게 사이트의 접근 규칙을 알려주는 텍스트 파일입니다.

Disallow에 /를 지정하면 어떻게 되나요?

사이트 전체의 크롤링을 금지합니다. 검색 엔진에 인덱싱시키고 싶지 않을 때 사용합니다.

데이터가 서버로 전송되나요?

아니요. 모든 처리는 브라우저에서 완료됩니다.

User-agent에 여러 크롤러를 지정할 수 있습니까?

네. 여러 User-agent 지시문을 추가하여 각 크롤러에 다른 규칙을 설정할 수 있습니다. 모든 크롤러에 적용하려면 *(아스터리스크)를 사용하세요.

Sitemap 지시문도 추가할 수 있습니까?

네. robots.txt에 사이트맵 URL을 Sitemap 지시문으로 포함하면 크롤러에게 사이트맵 위치를 알릴 수 있습니다.

관련 도구