|
今天查看自己的网站log，一看吓我一跳，基本上都是被一个User Agent叫"YisouSpider"的东西给刷屏了，一看就不知道是哪的蜘蛛，太没节操了，这到底是开了多少线程在爬啊，于是就查看了一下ip。原理是阿里巴巴旗下一个叫“一搜视频”的网站发出的蜘蛛。自己想把它屏蔽掉，太消耗服务器资源了，打开nginx配置文件，基本都在/usr/local/nginx/conf/xxx.conf。 注1：如果需要增加多个过滤，这样做 ($http_user_agent ~* "Spider1|Spider2|Spider3|Spider4")，中间用|隔开就行了 注2：如果你是用的是子目录博客，像我的一样，那么要找到 "location /blog/" 这样的区段去修改 location / { ......其它配置 if ($http_user_agent ~* "YisouSpider") { return 403; } } 配置完成wq保存后reload一下nginx，然后使用以下命令自我测试，地址自己改。没装curl的我就没办法了，自己apt或者yum装一个吧，神器来的。 curl -I -A "YisouSpider" www.bcty365.com 看到返回403就可以了，说明配置成功  |