使用Nginx过滤网络爬虫

现在的网络爬虫越来越多,有很多爬虫都是初学者写的,和搜索引擎的爬虫不一样,他们不懂如何控制速度,结果往往大量消耗服务器资源,导致带宽白白浪费了。 其实Nginx可以非常容易地根据User-Agent过滤请求,我们只需要在需要URL入口位置通过一个简单的正则表达式就可以过滤不符合要求的爬虫请求: ... location / { if ($http_user_...

Read more

Windows下配置虚拟主机的方法

打开apache配置文件 开启apache的虚拟主机配置文件 Include conf/extra/httpd-vhosts.conf # 将该行命令最前面的#去掉 修改虚拟主机配置文件( conf/extra/httpd-vhosts.conf) 在最下面添加一段配置 <VirtualHost *:80> ServerName test.com Do...

Read more