robots.txt 생성기
검색엔진 크롤러에 공개할 경로와 막을 경로를 입력해 robots.txt 파일을 만들고 sitemap 위치까지 함께 정리하세요.
robots.txt 설정
한 줄에 경로 하나씩 입력하세요. 경로는 / 로 시작해야 합니다.
검색엔진 크롤링 규칙 정리하기
robots.txt는 검색엔진 크롤러가 사이트에서 어떤 경로를 방문해도 되는지 참고하는 파일입니다. 관리자 페이지, 검색 결과 페이지, 임시 경로처럼 검색 결과에 노출할 필요가 낮은 영역을 정리하고, 공개할 페이지는 명확히 허용할 수 있습니다.
사이트 주소를 입력하면 기본 sitemap 위치를 자동으로 붙일 수 있고, 차단 경로와 허용 경로는 한 줄에 하나씩 작성합니다. 생성된 결과는 복사하거나 robots.txt 파일로 내려받아 사이트 루트에 배치하면 됩니다.
robots.txt는 보안 장치가 아니라 크롤러를 위한 지시 파일입니다. 민감한 페이지를 숨기거나 접근을 막는 용도로 쓰면 안 됩니다. 실제 개인정보나 관리자 화면은 로그인, 권한, 서버 설정으로 보호해야 합니다.
같이 쓰기 좋은 도구
현재 작업과 이어서 쓰기 쉬운 도구를 모았습니다.