@typecurry
Cloudflare推出封鎖AI內容爬蟲機器人的功能，免費版也適用 https://typecurry.com/17104-cf-aibot/ OpenAI在去年公開其網頁爬蟲「GPTBot」相關資訊之後， 個人便立刻按照說明文件更新robots.txt，將GPTBot給加入拒絕名單了， 畢竟放給它檢索對吸引新讀者毫無幫助，僅僅就只是增加我的伺服器負擔而已； 然而坊間推出AI相關服務的廠商如雨後春筍，其中大部份卻不見得像OpenAI那樣真小人、 肯光明正大的介紹自己的爬蟲機制，面對如此情況..... 又該如何過濾即將湧來的大批bot呢？ 從iThome看到的報導，Cloudflare所推出的AI內容爬蟲封鎖功能，或許可以解決這個問題！
No comments yet