robots.txt生成 - クロール設定ファイル生成

使い方

1. User-agentを入力（デフォルトは * で全クローラー対象）
2. Disallowにクロールを禁止するパスを1行ずつ入力
3. Allowに許可するパスを1行ずつ入力（任意）
4. ダウンロードボタンでrobots.txtを取得

よくある質問

robots.txtとは何ですか？

検索エンジンのクローラーにサイト内のアクセスルールを伝えるためのテキストファイルです。

Disallowに / を指定すると？

サイト全体のクロールを禁止します。検索エンジンにインデックスさせたくない場合に使います。

データはサーバーに送信されますか？

いいえ。すべての処理はブラウザ内で完結します。

User-agentに複数のクローラーを指定できますか？

はい。複数のUser-agentディレクティブを追加することで、クローラーごとに異なるルールを設定できます。すべてのクローラーに適用する場合は*(アスタリスク)を使用します。

Sitemapのディレクティブも追加できますか？

はい。サイトマップのURLをSitemapディレクティブとしてrobots.txtに含めることで、クローラーにサイトマップの場所を伝えられます。

関連ツール