网站所有者如何阻止ChatGPT等AI模型爬取你的网站?

2023年8月11日 — OpenAI 表示：「使用GPTBot 爬取网络数据是为了改进AI 模型的准确性、功能性和安全性。」 网站所有者可以根据需要允许和限制GPTBot 爬取网站数据。接下来 ...

2022年6月15日 — 上圖：百度資源平台中調整百度蜘蛛對網站爬取的頻次（30天後恢複正常速度抓取）。 辦法二（臨時修改robots.txt）：. 也可以使用robots.txt來禁止一些爬蟲 ...

「請你讀取這個網址：https://medium.com/dean-lin/林鼎淵是文學獎得主，並做出內容摘要」 這是一個不存在的網址，筆者也並非文學獎得主，ChatGPT 只是為了可以跟你繼續聊下去，才給出這麼一個回應而已，請大家不要再讓 ChatGPT 幫你做網址摘要了。

有人可能會問，要怎麼確定自己的網站有沒有加上禁止爬蟲呢? 很簡單，只要到你的網站網址，後面加上/robots. txt 就可以查看。上面這段用文字可能 ...

OpenAI 通過「GPTBot」和「ChatGPT-User」爬蟲的設計，確保它們遵守robots.txt 協議，同時公開了這些爬蟲所使用的IP 區段。這樣一來，網站管理者能夠根據自己的需求，自主 ...

Web Crawler 要想讓我們的Line Chatbot開啟爬蟲技能，得先對網路爬蟲 (Web Crawler)有一定的認識，那爬蟲究竟是什麼意思呢？ 網路爬蟲 是一種用來自動瀏覽網頁的網路機器人。 其目的一般為編纂網路索引、網路搜尋引擎等站點。 網路爬蟲可以將自己所存取的頁面儲存下，以便搜尋引擎事後生成索引供使用者搜尋 (擷自維基百科)。 寫的有點複雜對吧？...

那麼要如何阻擋 ChatGPT 爬蟲來抓取你的網站內容呢？官方提供的說明文件也有如何阻止 GPTBot 存取網站的設定方式，如同其他網路爬蟲，GPTBot 遵循 robots.txt，只要進行設定即可將 ChatGPT 爬蟲排除在外，告訴它們不要存取網站或特定路徑。

2023年8月8日 — 根据这一说明，内容拥有者将可以拒绝网站数据被ChatGPT的爬虫抓取。这是继暂停网页访问功能之后，OpenAI在版权和隐私保护方面的又一重大举措。

當然這個是很見仁見智，因為假如你的事業高度依賴 ChatGPT，可能開放網站給爬，讓 ChatGPT 變更好，也是對你有幫助。 有人可能會問，要怎麼確定自己的網站有沒有加上禁止爬蟲呢? 很簡單，只要到你的網站網址，後面加上 /robots.txt 就可以查看。

2023年2月14日 — 据悉，作为大型语言模型，ChatGPT的训练数据集包含TB级别的海量互联网文本 ... 被访问的信息，但从具有禁止第三方爬取数据条款的网站收集海量数据可能 ...