robots.txt 테스터
robots.txt 내용을 붙여 넣고 user-agent와 URL을 입력해 검색 크롤러가 해당 경로를 읽을 수 있는지 확인하세요.
robots.txt 테스트
robots.txt 내용을 붙여 넣고 테스트할 크롤러와 URL을 입력하세요.
robots.txt 규칙을 배포 전에 확인하기
robots.txt는 한 줄만 잘못 작성해도 중요한 페이지를 막거나, 막으려던 경로를 열어둘 수 있습니다. 특히 User-agent 그룹이 여러 개 있거나 Allow와 Disallow가 함께 있을 때는 실제 적용 결과를 눈으로 계산하기 어렵습니다.
이 도구는 붙여 넣은 robots.txt에서 대상 user-agent 그룹을 찾고, 테스트 URL의 path와 규칙을 비교합니다. 가장 긴 패턴이 우선이고, 같은 길이면 Allow가 우선이라는 일반적인 검색엔진 해석을 기준으로 결과를 보여줍니다.
테스트는 브라우저 안에서만 실행됩니다. robots.txt 내용, user-agent, URL은 berryfy로 전송되지 않습니다. 실제 검색엔진마다 일부 세부 차이가 있을 수 있으므로 중요한 변경은 서치 콘솔 테스트와 함께 확인하는 것이 좋습니다.
같이 쓰기 좋은 도구
현재 작업과 이어서 쓰기 쉬운 도구를 모았습니다.
