我的网站存在性能问题，部分原因是机器人。我检查了我的 AWStats，发现一些 IP 地址占用了大量带宽。我怎么知道将这些列入黑名单是否安全？一些人每月消耗 2 GB 或更多，始终如一。
请参阅此屏幕截图：https : //ibb.co/hJ6hmR
我尝试对这些 IP 进行 IP 查找，但是我如何判断它是否应该保留，例如已知的爬虫？
我还检查了 AWStats 中的爬虫程序，但我没有看到 IP 地址，所以我不知道它来自哪里。一个未知机器人消耗了 11 GB，而 Googlebot 只使用了 1 GB。https://ibb.co/cWDCmR
我如何挑出不良爬虫？
如果您使用的是 Apache，您可以尝试禁止 .htaccess 中的机器人
BrowserMatchNoCase thisisthebotname bad_bot
Order Deny,Allow
Deny from env=bad_bot
但是你需要机器人的用户代理
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句