GPTBot 把我服务器爬停机了

浅冰Column

晚上回来发现自己网站打不开了，以为服务器被阿里云封了，点到阿里云控制台一看：



自动关机了。

这个时候我还以为某人把服务器关掉了，问了一下还没回，开机先看看日志





COOL!

一看全是 GPTBot 以 1QPS 的速度打出来的，到第三天的时候终于磁盘告警被阿里云掐了



我不能理解的是为什么 GPTBot 看到什么就爬什么，图片也爬，而且站上有一万张不重样的图片就爬一万张，这是人能设计的吗
现在已经把 GPTBot 的 IP 封掉了

NaTyphoon

有没有GPT spider的User-Agent，发出来康康

然后看看你有没有正确配置robots.txt文件，如果配置出错也可能被一个劲地爬取

xiaoqianWX

近一段时间是这样的，以前是Anthropic疯狂爬，现在换oai在爬了
设个robots.txt文件吧

浅冰Column

NaTyphoon 发表于 2025-6-26 08:51
有没有GPT spider的User-Agent，发出来康康

然后看看你有没有正确配置robots.txt文件，如果配置出错也可能 ...

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

应该是没配置成功导致的