robots.txt 生成ツール

robots.txt は、検索クローラーがサイト内のどのパスを巡回してよいか参考にする公開ファイルです。管理画面、検索結果ページ、一時ページ、価値の低いフィルター URL を整理するのに役立ちます。

サイト URL を入力すると標準の sitemap 行を作れます。ブロックするパスと許可するパスは 1 行に 1 つずつ入力してください。生成結果はコピーするか robots.txt としてダウンロードし、サイトのルートに配置します。

robots.txt はセキュリティ機能ではありません。クローラー向けの公開指示ファイルであり、非公開ページを隠す手段ではありません。機密情報や管理画面はログイン、権限、サーバー設定で保護する必要があります。