为什么应该阻止 ChatGPT 和 Bytedance 爬虫抓取你的页面？
这几天，我发现我的一两个服务器过载（高于平常的CPU使用率），我查看了 Apache 日志，发现 ChatGPT Bot（也称为 GPTBot/1.0）和字节跳动 Bots（也称为 Bytespider）的访问记录。 您可以通过以下 BASH 命令检查访问您服务器的前 10 个 IP： #!/bin/bash awk '{a++}END{for(v in a)print v, a}' /var/log/apache2/*.log* | sort -k2 -nr | head -10 …