robots.txt テスター
robots.txt を貼り付け、user-agent と URL を入力して、検索クローラーがそのパスを読めるか確認できます。公開前のクロール設定チェックに便利です。
robots.txt テスト
robots.txt を貼り付け、テストするクローラーと URL を入力してください。
公開前に robots.txt の動作を確認する
robots.txt は 1 行の指定だけで重要なページをブロックしたり、止めたいパスを開いたままにしたりすることがあります。User-agent グループが複数あり、Allow と Disallow が混在している場合は、実際の結果を目で判断しにくくなります。
このツールは貼り付けた robots.txt から対象の user-agent グループを探し、テスト URL の path とルールを比較します。最も長いパターンを優先し、同じ長さなら Allow を優先する一般的な検索エンジンの解釈に沿って結果を表示します。
テストはブラウザ内だけで実行されます。robots.txt の内容、user-agent、URL は berryfy に送信されません。検索エンジンごとに細かな違いがあるため、重要な変更はサーチコンソールのテストでも確認してください。
あわせて使えるツール
今の作業に続けて使いやすいツールをまとめました。
