禁止 ChatGPT 爬蟲 GPTBot 爬取網站內容作為 AI 訓練教學
- robots.txt example
- 反反爬蟲
- chatgpt電腦版
- chatgpt登入
- meta robots
- Request 爬蟲
- selenium反爬蟲
- GPT crawler
- chatgpt com website
- python爬蟲程式碼
根據 OpenAI 官方文件表示，User-agent 為 GPTBot。User-agent 字串如上圖。下面幫大家列出，可直接複製使用：User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)禁止 GPTBot 爬取網站內容
直接將上圖中的文字，加入網站中的 robots.txt 檔案中儲存即可，加入後 ChatGPT 的爬蟲就不會爬取網站資料。禁止內容如下，可直接複製使用：
User-agent: GPTBot
Disallow: /開放部分內容爬取
除了全部禁止之外，也可以自訂允許 GPTBot 爬取的路徑，Allow 跟 Disallow 後面可以自由加上網站目錄路徑名稱。
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/IP 方式阻擋OpenAI 還公布了自家的 GPTBot 使用 IP，因此也可以直接設定 .htaccess 檔案，就可以直接阻擋 GPTBot 爬蟲，以下是 OpenAI 所公布的 IP：
- 20.15.240.64/28
- 20.15.240.80/28
- 20.15.240.96/28
- 20.15.240.176/28
- 20.15.241.0/28
- 20.15.242.128/28
- 20.15.242.144/28
- 20.15.242.192/28
- 40.83.2.64/28
資料來源：OpenAI
