禁止 ChatGPT 爬蟲 GPTBot 爬取網站內容作為 AI 訓練教學
禁止 ChatGPT 爬蟲 GPTBot 爬取網站內容作為 AI 訓練教學

OpenAI旗下AI對話式機器人ChatGPT今年爆紅之後,有許多人在探討如何阻擋AI機器人利用自己的內容來進行AI語言模型訓練,這部分爭議非常大,其實在OpenAI的官...

「ChatGPT」 升級了!關閉和「ChatGPT」 的對話內容,保護你的隱 ...

這個功能可以讓你隨時隨地控制你和「ChatGPT」的對話內容,確保你的隱私不受侵犯,也不會因為意外而丟失。.代表我們可以關閉對話紀錄的選項,不讓內容被用於訓練AI模型,關閉後每次對話就不會有紀錄,使用者必須自行手動保存對話內容。.我...

** 本站引用參考文章部分資訊,基於少量部分引用原則,為了避免造成過多外部連結,保留參考來源資訊而不直接連結,也請見諒 **

OpenAI 現在允許網站禁止 GPTBot 爬蟲抓取數據 » 科技人

為了回應資料隱私和版權等議題,OpenAI 近期啟動了新功能,允許網站操作者阻止其網路爬蟲「GPTBot」從特定網站抓取資料用於訓練 GPT 模型。 GPTBot 的運作與控制 所謂的網路爬蟲,是一個能在網路上自動搜尋和獲取資訊的程式,像是 Google 搜尋引擎以及Bing 搜尋引擎就是爬蟲大宗。 OpenAI 的 GPTBot 也會定期訪問各種網站,並儲存網頁內容以供其模型訓練。 然而,網站資料被 GPTBot 取用,現階段並沒有辦法反過來讓網站受惠,不像搜尋引擎可能幫網站帶來流量。 網站管理者現在可

使用 Notion AI ChatGPT 解析網頁內容和輸出 JSON

當網站沒有提供 API 時,為了取得方便 App 存取的網頁內容,我們通常要另外撰寫爬蟲程式將網頁內容整理成 JSON。. 不過最近 Notion AI 和 ChatGPT 橫空出世後,我們不寫爬蟲也能將網頁整理成 JSON 了。. 以下我們介紹兩種方法,這兩個方法都可透過 Notion AI 和 ...

ChatGPT来抓你的网页了,你怕不怕?

一文中曾经教过大家-如果你不想要让你的内容作为GPT训练的语料该怎么做。你只需要在网站的robots.txt文件中禁止CCBot即可。 User-agent: CCBot Disallow: /. 但是这并 ...

网站所有者如何阻止ChatGPT等AI模型爬取你的网站?

2023年8月14日 — OpenAI的网络爬虫称为GPTBot,根据OpenAI的文档,允许GPTBot访问您的网站可以帮助训练AI模型使其变得更安全、更准确,甚至可以扩展AI模型的功能。

如何禁止 GPTBot 用爬蟲爬你的網站資料

當然這個是很見仁見智,因為假如你的事業高度依賴 ChatGPT,可能開放網站給爬,讓 ChatGPT 變更好,也是對你有幫助。 有人可能會問,要怎麼確定自己的網站有沒有加上禁止爬蟲呢? 很簡單,只要到你的網站網址,後面加上 /robots.txt 就可以查看。

OpenAI 的另一个网络爬虫ChatGPT-User

2023年8月8日 — 要禁止插件访问您的网站,您可以将以下内容添加 ChatGPT-User 到您 ... 爬虫访问站点,因为这样被爬了不会被应用于数据训练, 而是直接作为结果返回。

OpenAI:ChatGPT将遵守爬虫协议,网站可拒绝白嫖

2023年8月9日 — 只要在网站的robots.txt中加入如下内容:. User-agent: GPTBot. Disallow: /. 这样,GPTBot将不会访问你的网站进行内容抓取。 如果只想禁止GPT抓取 ...

如何阻擋 OpenAI ChatGPT 抓取或使用你的網站內容?

那麼要如何阻擋 ChatGPT 爬蟲來抓取你的網站內容呢?官方提供的說明文件也有如何阻止 GPTBot 存取網站的設定方式,如同其他網路爬蟲,GPTBot 遵循 robots.txt,只要進行設定即可將 ChatGPT 爬蟲排除在外,告訴它們不要存取網站或特定路徑。

ChatGPT & OpenAI 中文討論區

有人可能會問,要怎麼確定自己的網站有沒有加上禁止爬蟲呢? 很簡單,只要到你的網站網址,後面加上/robots. txt 就可以查看。上面這段用文字可能 ...

OpenAI主動公開自家爬蟲,只為撇清竊取資料之嫌

2023年8月10日 — 沒錯,OpenAI此前就曾被指控抓取資料來訓練ChatGPT,並從網際網路上竊取 ... 如果想禁止GPTBot抓取內容,則可以在robots.txt中寫入指令,爬蟲在檢測到 ...


禁止 ChatGPT 爬蟲 GPTBot 爬取網站內容作為 AI 訓練教學

禁止 ChatGPT 爬蟲 GPTBot 爬取網站內容作為 AI 訓練教學

OpenAI 旗下 AI 對話式機器人 ChatGPT 今年爆紅之後,有許多人在探討如何阻擋 AI 機器人利用自己的內容來進行 AI 語言模型訓練,這部分爭議非常大,其實在 OpenAI 的官方文件中就有說明 ChatGPT 的網路爬蟲機器人名為 GPTBot,也有公開爬蟲的 IP 可以讓大家阻擋 AI 蒐集網站資料,這篇就來跟大家分享如何禁止 ChatGPT 爬蟲機器人來使用你的資料。

透過設定網站中的 robots.txt 檔案,就可以阻擋 GPTBot 來你的網站爬資料,這是一個專門給各式網路爬蟲看的文件,文件中會告訴爬蟲哪些資料不能取用。

防止 AI 爬蟲

根據 OpenAI 官方文件表示,User-agent 為 GPTBot。User-agent 字串如上圖。下面幫大家列出,可直接複製使用:
User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

禁止 GPTBot 爬取網站內容
ChatGPT 爬蟲IP
直接將上圖中的文字,加入網站中的 robots.txt 檔案中儲存即可,加入後 ChatGPT 的爬蟲就不會爬取網站資料。禁止內容如下,可直接複製使用:
User-agent: GPTBot
Disallow: /

開放部分內容爬取
ChatGPT 爬蟲禁止
除了全部禁止之外,也可以自訂允許 GPTBot 爬取的路徑,Allow 跟 Disallow 後面可以自由加上網站目錄路徑名稱。
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

IP 方式阻擋

OpenAI 還公布了自家的 GPTBot 使用 IP,因此也可以直接設定 .htaccess 檔案,就可以直接阻擋 GPTBot 爬蟲,以下是 OpenAI 所公布的 IP:
  • 20.15.240.64/28
  • 20.15.240.80/28
  • 20.15.240.96/28
  • 20.15.240.176/28
  • 20.15.241.0/28
  • 20.15.242.128/28
  • 20.15.242.144/28
  • 20.15.242.192/28
  • 40.83.2.64/28

資料來源:OpenAI

如何禁止 ChatGPT 爬蟲?這樣修改 robots 文字檔就解決
9M87
9M87

如何禁止 ChatGPT 爬蟲?這樣修改 robots 文字檔就解決 相關文章