robots.txt 生成器 - 生成爬蟲設定檔案

使用方法

1. 輸入 User-agent（預設 * 適用於所有爬蟲）
2. 輸入禁止爬取的路徑，每行一個
3. 輸入允許的路徑，每行一個（可選）
4. 點擊下載按鈕取得 robots.txt 檔案

常見問題

什麼是 robots.txt？

一個文字檔案，用於告知搜尋引擎爬蟲網站的存取規則。

將 Disallow 設為 / 會怎樣？

這會禁止整個網站被爬取。當您不希望搜尋引擎索引您的網站時使用。

資料會傳送到伺服器嗎？

不會。所有處理都在瀏覽器中完成。

User-agent中可以指定多個爬蟲嗎？

是的。通過添加多個User-agent指令，您可以為每個爬蟲設定不同的規則。使用*（星號）可套用到所有爬蟲。

也可以添加Sitemap指令嗎？

是的。在robots.txt中添加Sitemap指令並包含您的網站地圖URL，可以告知爬蟲網站地圖的位置。

相關工具